İz düzeyinde değerlendirme
Tamamlama oranının neden yetmediğini, başarısızlığın hangi adımda doğduğunu izden nasıl bulacağınızı ve yargıç modelin ne zaman güvenilir bir ölçüm aracı olduğunu öğretir.
Önkoşul: Function Calling, Hallucination
BU DERSİN SONUNDA
- Sonuç ve süreç puanlamasını ayırıp hangisinin hangi kararı beslediğini seçmek
- Bir izdeki başarısızlığı hata taksonomisine göre tek bir adıma atfetmek
- Yargıç modelin insan etiketleriyle uyumunu ölçüp kalibre etmek
- Tekrarlı koşularla kararlılığı ölçüp tek koşunun yanıltmasını önlemek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Tamamlama oranı bir ajanın çalıştığını söyler, neden çalıştığını söylemez. İz düzeyinde değerlendirme her koşuyu karar noktalarına ayırır ve başarısızlığı tek bir adıma atfeder; iyileştirmenin yönünü veren budur. Kısa kural: sonuç puanı kapıdır, iz puanı teşhistir.
Teori: sonuç puanının kör noktaları#
Yalnızca son duruma bakan bir puan, doğru sonuca yanlış yolla varmayı ödüllendirir: şans eseri isabet, yolda bırakılmış gereksiz yan etki, kullanıcıya sunulan yanlış gerekçe. Bu koşular bir sonraki denemede tekrar etmez. Dahası sonuç puanı hangi adımın düzeltilmesi gerektiğini söylemediği için istem değişiklikleri kör denemeye dönüşür.
Sürecin puanlanmasının da kendi riski var: yolu aşırı belirlemek. Ölçüt "benim yazdığım adımları izledi mi" olursa daha kısa geçerli yollar cezalandırılır ve ajan bugünkü tasarıma kilitlenir. Dengeli ölçüt iki şeye bakar: kabul edilemez davranışların yokluğu (hedef dışı yan etki, hatayı yok sayma, kanıtsız iddia) ve zorunlu kanıt adımlarının varlığı.
Uygulamada: hata taksonomisi#
| Hata | İzdeki imza | İlk bakılacak yer |
|---|---|---|
| Yanlış araç | Göreve uygun araç varken başkası çağrılmış | Araç adı ve açıklamasındaki seçim ölçütü |
| Doğru araç, yanlış argüman | Şema doğrulaması hata döndürmüş veya sonuç boş gelmiş | Parametre kısıtları ve hata mesajının yönlendirme gücü |
| Erken bırakma | Görev yarım, son adımda yine de özet üretilmiş | Bitirme ölçütünün tanımlı olup olmadığı |
| Döngü | Aynı çağrı benzer argümanlarla tekrarlanmış | Hata mesajının düzeltilebilirliği ve adım sınırı |
| Hatayı yok sayma | Araç hata döndürmüş, sonraki adım hatayı hiç anmamış | Hata metninin bağlamda görünürlüğü ve uzunluğu |
| Uydurulmuş araç sonucu | Çağrı izde yok ama çıktıda o veri var | Kanıt zorunluluğu ve kaynak gösterme kuralı |
| Gereksiz yan etki | Hedef dışı bir kayıt değişmiş veya mesaj gönderilmiş | Araç kapsamı ve yazma yetkisinin daraltılması |
Atıf: hangi adım bozdu#
- 1İzi karar noktalarına böl
Her araç çağrısı ve her "devam et ya da bitir" kararı bir karar noktasıdır. Girdi durumu, seçim ve sonucu ayrı ayrı kaydedin.
- 2İlk sapmayı bul
Beklenen son duruma giden yoldan ilk ayrılan karar noktasını işaretleyin. Sonraki hatalar çoğu zaman bunun türevidir ve ayrı ayrı sayılırsa dağılımı bozar.
- 3Etiketle ve nedene bağla
Sapmayı taksonomiden tek bir etikete bağlayın; nedenin araç şemasında mı, istemde mi, araç yanıtının biçiminde mi olduğunu yazın.
- 4Tek değişkenli düzeltme koştur
Yalnızca o nedeni değiştirip aynı seti tekrar koşun ve etiket dağılımının nasıl kaydığına bakın. İki değişikliği birlikte yaparsanız hangisinin işe yaradığını göremezsiniz.
Yargıç model ve kalibrasyon#
Makineyle doğrulanamayan öznel çıktılarda yargıç model pratik bir çözümdür, ama bir ölçüm aracıdır: kalibre edilmemiş bir araç kendinden emin çöp üretir. Kalibrasyonun zemini insan etiketli küçük bir çekirdek kümedir. Ölçülen şey yargıcın verdiği puan değil, yargıç ile insan arasındaki uyum ve uyuşmazlıkların hangi vaka tipinde toplandığıdır.
- Yargıca ölçüt verin, fikir sormayın: her puan seviyesini ayrı tanımlayan bir ölçüt metni ve seviye başına en az bir çıpa örnek.
- Referans varsa gösterin: beklenen son durum elinizdeyse yargıç serbest yorum değil karşılaştırma yapmalı.
- Gerekçeyi kanıt saymayın: modelin kendi akıl yürütmesi doğruluk kanıtı değildir. Yargıç çıktıyı ve izi değerlendirmeli, niyet beyanını değil.
- Bilinen eğilimleri sınayın: uzun ve kendinden emin cevabı yüksek puanlama, ilk gösterilen seçeneği seçme eğilimi. Aynı vakayı sırayı ve uzunluğu değiştirip tekrar sorun.
- Uyumu düzenli ölçün: çekirdek kümede uyuşmazlık artıyorsa düzeltilecek yer ajan değil, ölçüt metnidir.
Sık yapılan hata: tek koşuya güvenmek#
Tek koşu bir örneklemdir ve ajan döngüsü rastlantıyı biriktirir: araç yanıtlarının sırası, zaman aşımları, kısmi sonuçlar. Bu yüzden aynı görev birkaç kez koşulur ve iki ayrı okuma yapılır. "En az bir koşuda başarı" yeteneğin üst sınırını gösterir; "bütün koşularda başarı" üretime alınabilirliği gösterir. Özerklik kararı ikinci okumaya bakar, birinciye değil.
LAB · UYGULAMALI ALIŞTIRMA
Başarısızlıkları tek adıma atfedin
- 1Görev setinizden başarısız olan on koşunun tam izini çıkarın: her adımda çağrılan araç, argümanlar, dönen sonuç ve modelin sonraki kararı.
- 2Her iz için beklenen son duruma giden yoldan ilk sapan karar noktasını işaretleyin ve sapmayı hata taksonomisinden tek bir etikete bağlayın.
- 3Etiketleri sayın; en sık iki etiketi seçip nedenini araç şeması, istem veya araç yanıtı katmanlarından birine yazın.
- 4En sık etiketin nedenine tek bir değişiklik uygulayın ve başka hiçbir şeye dokunmayın.
- 5Aynı seti üç kez koşturun; etiket dağılımını ve hem "en az bir koşuda başarı" hem "üç koşuda da başarı" sayılarını önce ve sonra olarak karşılaştırın.
Beklenen çıktı
On başarısız koşunun etiketlenmiş atıf tablosu ve tek değişkenli düzeltmenin etiket dağılımı ile kararlılık üzerindeki önce/sonra etkisi.
Sık sorulan sorular
Süreci puanlamak ajanı tek bir yola kilitlemez mi?
Ölçüt "benim adımlarımı izledi mi" olursa kilitler. Bunu önlemek için süreç puanını iki şeye indirin: kabul edilemez davranışların yokluğu ve zorunlu kanıt adımlarının varlığı. Daha kısa geçerli bir yol bulunduğunda ceza değil, ölçütün gözden geçirilmesi gerekir.
İzleri elle etiketlemek ölçeklenmiyor, ne yapmalı?
Elle etiketlemenin amacı ölçek değil ölçüt üretmek. Küçük bir çekirdek küme, yargıç modelin uyumunu ölçebileceğiniz tek zemindir; o olmadan otomatik etiketleme kendi kendini doğrular. Çekirdek kümeyi küçük tutun ve her üretim arızasından sonra vaka ekleyerek büyütün.
Tamamlama oranı yükselirken kullanıcı şikâyeti artabilir mi?
Evet, en sık iki nedenle. Birincisi ölçülen görevler üretim dağılımını temsil etmiyordur. İkincisi sonuç puanı yan etkiyi ve kullanıcıya sunulan yanlış gerekçeyi görmüyordur. Şikâyetleri ilgili izlerle eşleştirip sete vaka olarak eklemek bu boşluğu kapatmanın en doğrudan yolu.
LEARN
AI Agent Developer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.