LAB · DENEY
Araç Çağırma Güvenilirliği
Araç şeması kademeli karmaşıklaştırıldığında çağrı hatalarının hangi türde çoğaldığını izleyen ölçüm düzeni. Araç kümesini büyütmeyi planlayan ekipler için bozuk argüman üretimi, tek bir hata sayısı yerine sınıflara ayrılarak yakalanır.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Araç Çağırma Güvenilirliği henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Düzen, araç şemasını kademeli karmaşıklaştırıp çağrı hatalarını sınıf sınıf kaydeder; bir hata oranı bildirmez, hatayı görünür kılacak düzeneği tarif eder.
Soru#
Araç çağırma, modelin serbest metin yerine bir şemaya uyması gereken tek yerdir; bu yüzden hatası da metin hatasından farklı davranır. Soru, şema karmaşıklığı ile çağrı güvenilirliği arasındaki ilişkinin nasıl ölçüleceğidir: alan sayısı, iç içe yapı ve araç sayısı arttıkça hata hangi biçimde ortaya çıkar? Ölçüm, hatanın yalnızca miktarını değil türünü de ayırmayı hedefler.
Düzen#
Aynı görev kümesi, karmaşıklığı kademeli olarak artan araç şemalarıyla tekrar koşulur. Araçlar gerçekten çalışmaz; her çağrı, sabit ve önceden yazılmış bir cevap döndüren taklit uçlara gider. Böylece ölçülen şey ağ ya da uç nokta davranışı değil, modelin şemaya uyma davranışı olur.
- Değişken: şema karmaşıklığı — alan sayısı, iç içe nesne derinliği, zorunlu ve seçimli alan dengesi.
- İkinci değişken: eşzamanlı sunulan araç sayısı ve aralarındaki adlandırma benzerliği.
- Karşılaştırma tabanı: tek zorunlu alanı olan, tek araçlı en yalın kademe.
- Sabitler: görev metinleri, model, örnekleme ayarları, taklit uçların döndürdüğü cevaplar.
- Yakalama noktası: çağrı, uca ulaşmadan şemaya karşı doğrulanır ve ham argümanlar saklanır.
Ölçüt#
Birincil ölçüt, çağrının şemadan geçip geçmediğidir; ancak şemadan geçen bir çağrı da yanlış olabilir, bu yüzden görev düzeyinde yerindelik ayrı tutulur. Tekrar denemesi ayrı sayılır: ilk denemede tutan çağrı ile üçüncü denemede tutan çağrı aynı güvenilirlik değildir. Ölçütler her karmaşıklık kademesi için ayrı raporlanır.
| Ölçüt | Ne ölçer | Sınırı |
|---|---|---|
| İlk denemede geçerlilik | Şema doğrulamasından ilk çağrıda geçen oranı | Geçerli olması yerinde olduğunu göstermez |
| Görev yerindeliği | Doğru aracın doğru argümanlarla seçildiğini | Elle bakmak gerekir; otomatik denetim kolayca yanılır |
| Toparlanma adımı | Hatadan sonra kaçıncı denemede geçerli çağrı üretildiğini | Hata mesajının içeriği sonucu doğrudan etkiler; bu etki model yeteneğiyle karışır |
| Gereksiz çağrı | Göreve gerek olmadığı halde yapılan araç çağrılarını | Keşif amaçlı çağrı ile gereksiz çağrı ayrımı yoruma açıktır |
Hata sınıfları#
| Hata sınıfı | Nasıl görünür | Nasıl yakalanır |
|---|---|---|
| Şema dışı alan | Tanımda olmayan bir anahtarın argümanlara eklenmesi | Katı doğrulama; gevşek ayarda alan sessizce yutulur |
| Tip uyuşmazlığı | Sayı beklenen alanda metin, kümelenmiş değerde serbest metin | Doğrulayıcı tipi zorlarsa düzeltme gizlenir; zorlama kapatılır |
| Eksik zorunlu alan | Görevde bilgi verilmişken alanın boş bırakılması | Zorunluluk listesi üzerinden doğrudan denetlenir |
| Yanlış araç seçimi | Adı benzeyen bir başka aracın çağrılması | Görev başına beklenen araç önceden yazılır ve karşılaştırılır |
| Sıra hatası | Bağımlı çağrının, girdisini üreten çağrıdan önce yapılması | Çağrı günlüğü sırayla saklanır; bağımlılık şeması ile denetlenir |
Beklenen kırılma noktaları#
- İç içe nesne derinliği arttıkça tip uyuşmazlığının, alan sayısı arttıkça eksik alanın öne çıkması beklenir.
- Adları ve amaçları birbirine yakın araçlar aynı kümede sunulduğunda yanlış araç seçiminin artması beklenir.
- Kümelenmiş değer alanlarında şema dışı bir değerin üretilmesi mümkün olduğu için, kırılmanın serbest metin alanlarına göre burada belirginleşmesi beklenir.
- İkinci kırılma kaynağı bağımlılık zinciridir; zincir uzadıkça sıra hatalarının birikeceği varsayılır.
- Hata mesajı eksik alanın adını söylüyorsa toparlanma hızlanabilir; genel bir mesajda ise tıkanma öngörülür.
Sınırlılıklar#
Taklit uçlar kullanıldığı için düzen, gerçek bir sistemde ortaya çıkan zaman aşımı, kısmi başarı ve yarış durumu davranışlarını kapsamaz. Şema karmaşıklığı kademeleri elle tasarlandığından, karmaşıklık tek boyutlu bir sayı değil bir tasarım tercihidir; başka bir kademelendirme başka bir eğri verebilir. Sonuçlar model sürümüne ve sağlayıcının araç çağırma arayüzüne bağlıdır, bu ikisi değiştiğinde düzen yeniden koşulur.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI AgentsFunction CallingModelin serbest metin yerine, verilen şemaya uygun yapılandırılmış bir çağrı üretmesi ve uygulamanın bu çağrıyı gerçek bir fonksiyona bağlamasıdır.
- AI AgentsModel Context ProtocolDil modeli uygulamalarının harici araç ve veri kaynaklarına standart bir arayüz üzerinden bağlanmasını sağlayan açık protokoldür.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.