Araç sayısı yetenek değil, hata yüzeyidir

Tez#

Ajan projelerinde ilerlemenin en görünür ölçüsü araç sayısı oldu. Demolarda "kırk araca bağlı ajan" ifadesi bir yetenek beyanı gibi kullanılıyor, yol haritalarında araç sayısı bir hedef olarak yazılıyor. Bu ölçü yanlış yönlendiriyor çünkü araç sayısı bir yetenek göstergesi değil, iki ayrı maliyetin göstergesidir: modelin doğru aracı seçme zorluğu ve sistemin yetki yüzeyi.

Mekanizma basit. Model her turda mevcut araçlar arasından birini seçer. Beş araçlı bir katalogda bu seçim kolaydır: araçların işlevleri birbirinden yeterince uzaktır ve ad ile açıklama ayırt etmeye yeter. Kırk araçlı bir katalogda işlevler kaçınılmaz olarak örtüşmeye başlar — üç farklı arama aracı, iki farklı kayıt oluşturma aracı, birbirine benzeyen dört rapor aracı. Model artık iki benzer alternatif arasında karar vermek zorundadır ve bu kararı vermek için elindeki tek şey araç adı, açıklaması ve parametre şemasıdır. Seçim hatası burada başlar ve daha iyi bir model bu hatayı azaltır ama yapısal nedenini ortadan kaldırmaz.

Bağlam: katalog nasıl büyüyor#

Araç kataloglarının şişmesi kötü bir kararla olmuyor; iyi niyetli kararların birikmesiyle oluyor. Her yeni talep bir araç ekliyor, hiçbir talep araç kaldırmıyor. Aşağıdaki tablo, kataloğun büyüme aşamalarını ve her aşamada ortaya çıkan yeni sorunu gösteriyor.

Tablonun en çok atlanan satırı ikincisi. Altı ile on iki araç arasındaki bölgede asıl kaldıraç araç eklemek değil, var olan araçların şemasını iyileştirmek. Bir aracın parametre şemasını daraltmak — serbest metin yerine sabit seçenek, zorunlu alanları gerçekten zorunlu kılmak, adları modelin yanlış anlayamayacağı kadar açık yazmak — doğru çağrı oranını araç eklemekten daha çok etkiliyor. Bu iş görünür bir ilerleme üretmediği için genellikle atlanıyor; araç eklemek ise demoda görünüyor.

Kanıt: iki ayrı başarısızlık#

Kalabalık kataloğun ürettiği arızalar iki ayrı sınıfta toplanıyor ve ikisinin çözümü farklı. Karıştırıldıklarında ekipler yanlış müdahaleyi yapıyor: seçim hatasına şema düzeltmesiyle, yetki sorununa istem düzeltmesiyle cevap veriyor.

• Seçim hatası: model işi yapabilecek aracı bulamıyor ya da benzerini seçiyor. Belirtisi, görev tamamlanmadan biten koşular ve tekrar tekrar aynı iki araç arasında salınan izler. Çözümü şema ve katalog tasarımı.
• Yetki hatası: model yapmaması gereken bir aracı çağırıyor. Belirtisi, beklenmedik bir sistemde oluşan kayıt. Çözümü istem değil yetki sınırlaması: aracın o bağlamda çağrılabilir olmaması.
• Gizli üçüncü sınıf: doğru araç, yanlış parametre. Model aracı doğru seçiyor ama alanı hatalı dolduruyor. Bu, şema doğrulamasıyla yakalanabilen en ucuz hata sınıfıdır ve çoğu sistemde hiç yakalanmıyor.
• Maliyet hatası: model her turda gereksiz araç çağırıyor, görev tamamlanıyor ama tur sayısı şişiyor. Kalite ölçümünde görünmez, yalnızca faturada görünür.

Mekanizma: şema bir sözleşme değil, bir ipucudur#

Araç şemasının ne olduğu konusunda yaygın bir yanlış anlama var. Şema, modele verilen bir sözleşme değil; modelin yorumlayacağı bir ipucudur. Model şemayı okuyup ona uymaya çalışır ama uymak zorunda değildir; uymadığında ortaya çıkan şey geçersiz bir çağrıdır ve onu yakalayacak olan şema doğrulayıcısıdır, modelin iyi niyeti değil.

Bu ayrım pratik sonuçlar doğuruyor. İyi bir şema, modelin yanlış yapmasını zorlaştıracak biçimde yazılır: serbest metin alanı yerine sabit seçenek kümesi, muğlak ad yerine tek anlama gelen ad, isteğe bağlı görünen ama aslında zorunlu olan alan yerine açıkça zorunlu alan. Şemayı daraltmak modelin işini kolaylaştırır; genişletmek ise ona karar verdirir. Ajan tasarımında genel kural şudur: modelin vermesi gereken kararları modele bırakın, vermemesi gereken kararları şemayla kapatın.

// Geniş şema: model karar vermek zorunda, hata alanı büyük
{
  "ad": "kayit_guncelle",
  "parametreler": {
    "hedef": { "tip": "metin" },
    "alanlar": { "tip": "metin" },
    "mod": { "tip": "metin" }
  }
}

// Daraltılmış şema: yanlış çağrı büyük ölçüde imkânsız
{
  "ad": "musteri_adresini_guncelle",
  "parametreler": {
    "musteriKimlik": { "tip": "metin", "zorunlu": true, "desen": "^M[0-9]{8}$" },
    "adresTipi": { "tip": "secenek", "secenekler": ["fatura", "teslimat"], "zorunlu": true },
    "yeniAdres": { "tip": "metin", "zorunlu": true, "enAzUzunluk": 10 }
  }
}

Karşı görüş#

En güçlü karşı iddia şu: araç seçimi artık bir bilgi getirme problemi olarak çözülüyor. Katalog büyükse modele hepsini göstermek gerekmiyor; göreve göre en ilgili birkaç araç geri getirilip yalnızca onlar sunulabiliyor. Bu yaklaşım seçim uzayını her turda küçük tuttuğu için, kataloğun toplam büyüklüğünü pratik bir sorun olmaktan çıkarıyor. İddia teknik olarak doğru ve yaygınlaşıyor.

Kataloğu küçültmedik, her turda modele gösterdiğimiz pencereyi küçülttük. Seçim isabeti geri geldi ama bu kez yanlış aracın hiç gösterilmemesi riskiyle yaşıyoruz.

Ancak bu çözüm sorunu ortadan kaldırmıyor, yer değiştiriyor. Araç geri getirme, RAG'in tüm sorunlarını ajan katmanına taşır: hangi aracın hangi göreve ilgili olduğunu belirleyen bir eşleştirme kalitesi ortaya çıkar, o eşleştirmenin kendi isabet oranı ölçülmek zorunda kalır ve yanlış pencere seçimi artık görünmez bir başarısızlık üretir — model doğru aracı hiç görmediği için görevi yapamaz ama neden yapamadığı izde görünmez. Ayrıca bu çözüm yetki argümanına hiç dokunmuyor: araç kataloğunda tanımlı olan her araç, ajanın teorik olarak erişebileceği bir yetkidir; modele gösterilmemesi, sistemde tanımlı olmasını değiştirmez.

Sınırlar ve belirsizlik#

Bu analiz nicel bir eşik önermiyor ve önermemesi bilinçli. Tablodaki sayı aralıkları saha gözlemine dayanan kaba işaretlerdir; ölçülmüş sınırlar değil. Belirleyici değişken sayı değil işlev örtüşmesi ve bu örtüşme her katalogda farklı.

• Örtüşme ölçütü yok: iki aracın "benzer" sayılması için nesnel bir eşik tanımlanmadı; değerlendirme şimdilik editoryal.
• Araç geri getirmenin isabet oranı üzerine karşılaştırmalı yayımlanmış ölçüm sınırlı; yaklaşımın ne kadar işe yaradığı ekip anlatılarına dayanıyor.
• Model kuşağı etkisi açık uçlu: araç seçme güvenilirliği belirgin biçimde artarsa verimli bölge yukarı kayabilir. Ne kadar kayacağı bilinmiyor.
• Yetki yüzeyi argümanı mimariye bağlı: araç başına yetkinin çalışma anında daraltılabildiği sistemlerde bu argümanın ağırlığı azalır.

Sonuç#

Araç sayısı bir yetenek ölçüsü olarak kullanılmayı bırakmalı. Ölçülmesi gereken şey kataloğun ne kadar büyük olduğu değil, ne kadar ayrık olduğu: iki aracın işlevi birbirine karışıyorsa katalog fazla kalabalıktır, sayı ne olursa olsun. Buna karşılık on iki ayrık ve iyi şemalanmış araç, yedi benzer araçtan daha yönetilebilirdir.

Pratik sonuç, ajan yol haritalarında araç sayısının hedef olmaktan çıkarılması. Yerine iki ölçü konmalı: doğru araç seçme oranı ve kullanılmayan yetki sayısı. İlki kataloğun tasarım kalitesini, ikincisi güvenlik borcunu gösterir. Bu iki sayı izlendiğinde araç eklemek bir başarı değil, gerekçelendirilmesi gereken bir karar hâline gelir — olması gereken de budur.

Ne yapmalı?#

1. 1Kataloğu işlev örtüşmesine göre denetleyin

   Her araç çiftine "bu ikisi aynı işi yapabilir mi" sorusunu sorun. Cevap evetse birleştirin ya da adlarını ayırt edilemez olmaktan çıkarın.

2. 2Şemaları daraltın, genişletmeyin

   Serbest metin alanlarını sabit seçeneğe çevirin, desen doğrulaması ekleyin, zorunlu alanları gerçekten zorunlu kılın. Ölçüsü: doğru çağrı oranındaki değişim.

3. 3Doğru araç seçme oranını ölçün

   Her araç çağrısını beklenen araçla karşılaştıran bir değerlendirme seti kurun. Bu oran ölçülmüyorsa katalog kalitesi hakkında hiçbir şey bilinmiyor.

4. 4Kullanılmayan yetkileri periyodik olarak kaldırın

   Son üç ayda hiç çağrılmamış araçlar tanımdan düşürülmeli. Tanımlı ama kullanılmayan araç, saf güvenlik borcudur.

5. 5Tek ajanda tek amaç ilkesini uygulayın

   Katalog kalabalıklaşıyorsa çözüm daha iyi model değil, ajanı bölmek. Her ajanın amacı ve yetki sınıfı tek cümleyle yazılabilmeli.