LAB · DENEY
LLM Yargıç Kalibrasyonu
Model yargıcının kararının insan etiketiyle uyumunu ölçmek ve konum, uzunluk, biçim yanlılıklarını ayrı ayrı sınamak için kurulan düzen. Otomatik değerlendirmeye geçmeden önce okunması gereken kayıt.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
LLM Yargıç Kalibrasyonu henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Soru#
Değerlendirme işini başka bir modele bırakmak ölçeklenir; ama yargıcın kararı insan etiketiyle ne kadar örtüşüyor sorusu cevaplanmadan bu ölçek işe yaramaz. Kalibre edilmemiş bir yargıcın puanı ölçüm değil gürültüdür ve karar süreçlerine yanlış güven taşır. Düzen, uyumu ölçmek ve yargıcın bilinen yanlılıklarını tek tek sınamak için kurulur.
Düzen#
Önce insan etiketli bir referans küme kurulur: aynı görev çıktıları en az iki değerlendiriciye bağımsız verilir, anlaşmazlıklar üçüncü turda çözülür ve her karar gerekçesiyle kaydedilir. Yargıç aynı çıktıları aynı ölçüt tanımıyla puanlar; karşılaştırma yargıç–insan çifti üzerinden yapılır. Yargıcın istemi, ölçüt listesi ve puan ölçeği turlar arasında sabit tutulur; yalnızca sınanan yanlılık değişkeni oynatılır.
- Veri: tek görev tipine ait çıktı çiftleri; her çift için insan kararı ve gerekçesi.
- Karşılaştırma tabanı: insan değerlendiriciler arası uyum — yargıç bu üst sınıra göre okunur.
- Değişken 1: yargıç istemi; ölçüt listesi, gerekçe isteme ve puan ölçeği ayrı ayrı değiştirilir.
- Değişken 2: sunum biçimi; çiftin sırası, çıktı uzunluğu ve biçimlendirme.
- Sabit: görev tipi, çıktı kümesi ve insan etiketleri.
Ölçüt#
Uyum tek sayıya indirilirken şansa bağlı örtüşmenin ayıklanması gerekir; ham yüzde uyum, sınıf dağılımı dengesiz olduğunda olduğundan iyi görünür. Bu yüzden düzeltilmiş uyum ile sıralama korelasyonu birlikte tutulur ve her ikisi insan–insan uyumuyla yan yana okunur.
| Ölçüt | Ne söyler | Tuzağı |
|---|---|---|
| Şansa göre düzeltilmiş uyum | Yargıcın insan kararıyla örtüşmesinin rastgelelikten arındırılmış payını | Dengesiz sınıf dağılımında aynı ham uyum çok farklı değer üretir |
| Sıralama korelasyonu | Mutlak puan değil, sıralamanın korunup korunmadığını | Eşitlik kararı çoksa katsayı az sayıda çifte dayanır ve kararsızlaşır |
| Sıra değişimine kararlılık | Aynı çift ters sırada verildiğinde kararın değişme oranını | Tek turda ölçülemez; her çift iki yönde de sorulmalıdır |
| Kararsız oran | Yargıcın eşit veya belirsiz dediği payı | Yüksek kararsızlık, düşük uyumu gizleyerek tabloyu iyi gösterir |
Yanlılık testleri#
| Yanlılık | Nasıl sınanır | Bastırma denemesi |
|---|---|---|
| Konum yanlılığı | Aynı çift hem A-B hem B-A sırasıyla sorulur | İki yönlü sorup kararları eşleştirmek; tutmayan çiftleri kararsız saymak |
| Uzunluk yanlılığı | Uzunluğu eşleştirilmiş alt küme ayrı okunur | Ölçüt tanımına uzunluğun puana girmediğini yazmak ve kısa doğru cevabı örneklemek |
| Biçim yanlılığı | Aynı içerik düz metin ve maddelenmiş biçimde verilir | Değerlendirme öncesi çıktıları tek biçime normalleştirmek |
| Kendini kayırma | Yargıç, kendi ailesinden gelen çıktıyı da puanlar | Üretici ile yargıcı ayırmak; kaynak etiketini gizlemek |
Beklenen kırılma noktaları#
- Yakın çıktılar: iki cevap da kabul edilebilir olduğunda yargıcın kararının rastgeleye yaklaşması beklenir.
- Uzun ölçüt listeleri: madde sayısı arttıkça son maddelerin ağırlığını yitirmesi beklenen kırılma.
- Alan bilgisi gerektiren görevler: doğruluğu ancak kaynakla denetlenebilen çıktılarda yargıcın biçime kayması beklenir.
- Dil karışımı: ölçüt istemi bir dilde, çıktı başka dilde olduğunda kararın kayması beklenir.
- Ölçek değişimi: beşli puandan ikili karşılaştırmaya geçildiğinde uyum değerinin belirgin biçimde değişmesi beklenir; iki ölçekte ölçülen uyum birbirinin yerine okunamaz.
Sınırlılıklar#
İnsan etiketi burada referans kabul edilir, ama kendisi de hatalıdır; değerlendiriciler arası uyum düşükse yargıcın ulaşabileceği tavan da düşüktür. Düzen tek görev tipiyle kurulduğu için çıkan uyum başka görevlere taşınmaz. Yargıç modeli veya istemi değiştiğinde kalibrasyon geçersizleşir; ölçüm, yapılandırma notuyla birlikte saklanmalıdır.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.