Çok ajanlı mimari çoğu ekipte bir kazanç değil bir ödemedir

Tez#

Çok ajanlı mimariler hızla bir varsayılan hâline geldi: bir araştırmacı ajan, bir yazar ajan, bir gözden geçiren ajan. Bölüm başlıkları insan ekip yapısını taklit ediyor ve bu benzetme ikna edici görünüyor. Ama benzetmenin dayandığı varsayım yanlış: insan ekiplerinde iş bölümü, tek kişinin kapasitesinin yetmemesinden doğar. Dil modellerinde ise kapasite sınırı bağlam penceresi ve o pencere hızla büyüyor.

Bölmenin gerçek bedeli koordinasyonda. Her ajan arası devir bir arayüz: bir ajanın çıktısı diğerinin girdisi oluyor ve o çıktı serbest metin ise arayüz sözleşmesiz kalıyor. Sözleşmesiz arayüz, hata yayılımının en verimli kanalı — birinci ajanın küçük bir yanlış varsayımı, ikinci ajan tarafından veri olarak kabul ediliyor ve üçüncü ajana kesinlik kazanmış hâlde ulaşıyor. Tek ajanlı bir akışta aynı yanlış varsayım da olur ama en az bir kez daha gözden geçirilir; çok ajanlı akışta her devir onu sağlamlaştırır.

Bağlam: üç koşul ve pratik dağılım#

Aşağıdaki tablo çok ajanlı yapının kazandırdığı ve ödettiği durumları karşılaştırıyor. Amaç mimariyi reddetmek değil, kanıt yükünü yerine koymak.

Üçüncü satır, bu analizin en çok altını çizdiği durum. Çok ajanlı yapının en sağlam gerekçesi yetenek değil güvenlik: farklı yetki sınıflarını farklı ajanlara ayırmak, en az yetki ilkesinin doğal uygulaması. Kod üreten ajanın üretim veritabanına erişmemesi, gözden geçiren ajanın yazma yetkisi olmaması — bunlar koordinasyon maliyetine değecek kazançlar. Buna karşılık birinci satırdaki "araştır, yaz, gözden geçir" kalıbı, aynı bilgiye bakan üç ajanı sıralı olarak çalıştırıyor ve üç kat gecikme karşılığında belirsiz bir kalite kazancı sunuyor.

Kanıt: koordinasyonun somut maliyetleri#

Koordinasyon maliyeti soyut değil; dört kalemde toplanıyor ve hepsi ölçülebilir.

• Gecikme toplanır: sıralı ajanlarda toplam süre, en yavaş değil tüm ajanların toplamı. Paralelleşmeyen bir bölme doğrudan gecikme ödemesidir.
• Bağlam tekrarı maliyet üretir: her ajan görevi anlamak için bağlamın bir bölümünü yeniden alır; aynı bilgi birkaç kez ücretlendirilir.
• Hata yayılımı sağlamlaşır: bir ajanın varsayımı sonraki için veri olur; her devir yanlışı kesinleştirir.
• Hata ayıklama zorlaşır: arıza tek bir karar dizisine değil, ajanlar arası bir devir zincirine iner. İz bağlamı taşınmıyorsa kök neden bulunamaz.

İkinci madde çoğu ekibin faturasında sürpriz olarak görünüyor. Üç ajanlı bir akışta sistem istemi, görev tanımı ve ilgili bağlam üç kez gönderiliyor; önbellek kullanılmıyorsa maliyet üç katına çıkıyor. Bu, kalite kazancı olmadan ödenen en somut bedel ve ölçülmesi kolay — akış başına toplam token tüketimini tek ajanlı bir kurulumla karşılaştırmak yeterli.

Mekanizma: devir arayüzünü sözleşmeye bağlamak#

Çok ajanlı yapı gerekiyorsa, hata yayılımını sınırlamanın yolu devir arayüzünü sözleşmeye bağlamak. Serbest metin devir, en kırılgan arayüz biçimi; yapılandırılmış devir ise hatayı devir noktasında yakalanabilir kılıyor.

1. 1Devri şemaya bağlayın

   Bir ajanın çıktısı serbest metin yerine doğrulanabilir bir şema olsun. Şema dışı çıktı devir noktasında durur.

2. 2Belirsizliği devirde taşıyın

   Ajan emin değilse bunu şemada bildirsin. Belirsizlik taşınmazsa sonraki ajan onu kesinlik sanır.

3. 3İz bağlamını zincir boyunca koruyun

   Her adımın hangi devirden geldiği kaydedilsin. Zincir izlenemezse arıza tek bir ajana atfedilemez.

4. 4Zincir uzunluğuna sınır koyun

   Ajanlar birbirini çağırabiliyorsa derinlik sınırı olmalı; aksi hâlde zincir kendini besleyebilir.

5. 5Tek ajanlı kontrol kurulumunu koruyun

   Aynı görevi tek ajanla çözen bir sürüm elde tutulsun; karşılaştırma yapılmadan bölmenin faydası bilinemez.

Beşinci adım en çok atlanan ve en aydınlatıcı olanı. Çok ajanlı bir akış kurulduktan sonra tek ajanlı alternatifi denemek pratikte hiç yapılmıyor; mimari bir kez seçildiğinde karşılaştırılmıyor. Oysa karşılaştırma bir günlük iş ve sonucu genellikle şaşırtıcı — birçok görevde tek ajan, daha az gecikme ve maliyetle benzer kalite üretiyor.

Karşı görüş#

İki itiraz güçlü. Birincisi: rol ayrımı modelin odaklanmasını artırıyor; tek bir istemle her şeyi yapmaya çalışan ajan, ayrı rollere bölünmüş olanlardan kötü sonuç veriyor. İkincisi: gözden geçiren ajan gerçek bir kalite mekanizması — kendi çıktısını değerlendiren bir model, hatalarının bir bölümünü yakalıyor.

Üç ajanlı akışı tek ajana indirdik ve aynı istemi aşamalı hâle getirdik. Kalite aynı kaldı, gecikme üçte bire düştü. Bölünmenin sağladığı odak, tek akış içinde de sağlanabiliyordu.

Alıntı birinci itirazın kritik nüansını gösteriyor: rol ayrımının faydası gerçek ama ajan ayrımı gerektirmiyor. Aynı akış içinde aşamalı bir istem yapısı — önce plan, sonra taslak, sonra gözden geçirme — benzer odağı çok daha düşük maliyetle sağlıyor. İkinci itiraz için de benzer bir ayrım var: kendi çıktısını değerlendirme gerçek bir kazanç ama bunun için ayrı bir ajan gerekmiyor; aynı ajanın ikinci bir turu yeterli. Ayrı ajan yalnızca gözden geçirenin farklı bir yetki sınıfında olması gerektiğinde zorunlu hâle geliyor — yani yine güvenlik gerekçesiyle, yetenek gerekçesiyle değil.

Sınırlar ve belirsizlik#

Tezin güven derecesi orta ve nedeni karşılaştırmalı veri eksikliği.

• Yan yana karşılaştırma nadir: aynı görevde tek ajanlı ve çok ajanlı kurulumun ölçüldüğü yayımlanmış çalışma sınırlı.
• Görev türü etkisi haritalanmamış: hangi görev sınıflarında bölmenin kazandırdığı sistematik biçimde incelenmemiş.
• Bağlam penceresi büyümesi denklemi değiştiriyor: pencere büyüdükçe "bağlam yetersizliği" gerekçesi zayıflıyor.
• Yetki gerekçesi tartışmasız ama ölçülmemiş: yetki ayrımının güvenlik kazancı nicelenmiş değil.

Sonuç#

Çok ajanlı mimari bir yetenek çarpanı değil, bir koordinasyon maliyeti. Bu maliyet üç durumda karşılığını buluyor: işler gerçekten paralelleşebiliyorsa, tek ajanın bağlamı yetmiyorsa ve farklı yetki sınıflarını ayırmak gerekiyorsa. Üçüncüsü en sağlam gerekçe çünkü alternatifi yok.

Bu koşullardan hiçbiri sağlanmıyorsa, rol ayrımının sağladığı odak aynı akış içinde aşamalı bir istem yapısıyla elde edilebiliyor — üçte bir gecikme ve üçte bir maliyetle. Pratik disiplin şu: çok ajanlı bir akış kurulduktan sonra tek ajanlı kontrol sürümünü elde tutmak ve ikisini aynı sette karşılaştırmak. Karşılaştırma yapılmadan seçilen mimari bir karar değil, bir alışkanlıktır.

Ne yapmalı?#

1. 1Üç koşulu açıkça sorun

   Sorumluluklar ayrışıyor mu, işler paralelleşiyor mu, bağlam yetmiyor mu? Üçü de hayırsa bölmeyin.

2. 2Tek ajanlı kontrol sürümü kurun

   Aynı görevi aşamalı istemle tek akışta çözen bir sürüm. Karşılaştırma olmadan fayda bilinemez.

3. 3Devri şemaya bağlayın

   Serbest metin devir hata yayılımının en verimli kanalı. Şema, hatayı devir noktasında yakalar.

4. 4Belirsizliği devirde taşıyın

   Ajan emin değilse şemada bildirsin. Taşınmayan belirsizlik, sonraki ajanda kesinliğe dönüşür.

5. 5Akış başına token tüketimini ölçün

   Bağlam tekrarı en somut bedel. Tek ajanlı kurulumla karşılaştırıldığında fark genellikle şaşırtıcı.

6. 6Yetki ayrımını gerekçe olarak öne alın

   Bölmenin en sağlam nedeni farklı yetki sınıflarıdır. Bu gerekçe varsa karşılaştırma bile gerekmez.