Evaluation

Genel benchmark yeterli değil#

Kamuya açık benchmarklar modelleri karşılaştırmak için yararlıdır ama sizin iş akışınızı temsil etmez. Üretim kalitesini ölçmek için kendi görev setinizi, kendi başarı tanımınızla kurmanız gerekir.

1. 1Görev seti

   Gerçek kullanımdan örnekler toplanır.

2. 2Başarı tanımı

   Doğru cevabın ne olduğu yazılı hale getirilir.

3. 3Ölçüm

   Otomatik ve insan değerlendirmesi birlikte yürütülür.

4. 4Regresyon

   Her değişiklikte aynı set tekrar çalıştırılır.

Üç katman#

Yedi metrik#

• Tamamlama oranı: görev insan müdahalesi olmadan bitti mi.
• Adım verimliliği: hedefe kaç araç çağrısında ulaşıldı.
• Kurtarma oranı: başarısız adımdan sonra göreve dönüş sağlandı mı.
• Yan etki sayısı: hedef dışında kaç değişiklik oluştu.
• Kalibrasyon: model bilmediğinde bilmediğini söylüyor mu.
• Kararlılık: aynı görev tekrarlandığında sonuç ne kadar değişiyor.
• Birim maliyet: tamamlanmış görev başına token, süre ve para.

Veri sızıntısı#

Bir test seti yayımlandığı andan itibaren gelecekteki eğitim verisinin parçası olabilir. Bu, skorların zamanla yükselmesini gerçek yetenek artışından bağımsız hale getirir. Kurum içi ve kapalı görev setleri bu sorundan yapısal olarak muaftır — kapalı tutuldukları sürece.

Model yargıç kullanımı#

Makine tarafından doğrulanamayan öznel çıktılarda bir dil modelini yargıç olarak kullanmak pratik bir çözüm; ancak tek başına yeterli değil. Yargıç modelin kendi eğilimleri sonuca karışır: uzun cevapları veya kendi üslubuna benzeyen çıktıları tercih edebilir. En az bir insan kalibrasyon turu ve raporda yöntem beyanı gerekir.