LLM döneminden agentic döneme: değerlendirme nasıl değişiyor?

Tez#

Kamuya açık benchmarklar, modeller arası kaba bir sıralama için hâlâ faydalı. Ancak bir kurumun "bu modeli üretime alalım mı" kararı için neredeyse hiçbir bilgi vermiyorlar. Sebep basit: ölçtükleri şey ile yapılacak iş arasındaki mesafe çok büyük. Bu mesafeyi kapatan tek şey, kurumun kendi görev seti.

Bağlam: değerlendirmenin üç katmanı#

Statik benchmarkların bir yapısal sorunu daha var: veri sızıntısı. Bir test seti internette yayımlandığı andan itibaren gelecekteki eğitim verisinin parçası olabiliyor. Bu, skorların zamanla yukarı gitmesini modelin gerçekten iyileşmesinden bağımsız hale getiriyor. Kurum içi, kapalı görev setleri bu sorundan yapısal olarak muaf.

Kanıt: neyin ölçülmesi gerekiyor?#

Ajanik dönemin değerlendirmesi tek sayı üretmiyor; bir profil üretiyor. Aynı model bir eksende iyi, diğerinde kötü olabilir ve karar bu dengeye göre verilir.

• Tamamlama oranı: görev, insan müdahalesi olmadan bitti mi.
• Adım verimliliği: hedefe kaç araç çağrısında ulaşıldı.
• Kurtarma oranı: başarısız adımdan sonra göreve dönüş sağlandı mı.
• Yan etki sayısı: hedef dışında kaç değişiklik oluştu.
• Kalibrasyon: model bilmediğinde bilmediğini söylüyor mu.
• Kararlılık: aynı görev on kez koşulduğunda sonuç ne kadar değişiyor.
• Birim maliyet: tamamlanmış görev başına token, süre ve para.

Bu listede en çok atlanan iki madde kalibrasyon ve kararlılık. Kalibrasyonu düşük bir model, yanlış cevabı kendinden emin verdiği için insan denetimini de devre dışı bırakıyor. Kararlılığı düşük bir model ise değerlendirilemiyor: bir koşuda geçen, diğerinde kalan bir sistem üzerinde iyileştirme yapılamıyor.

# Görev seti kaydı — minimum alanlar
kimlik: fatura-esleme-007
hedef: "Gelen faturayı doğru siparişle eşleştir ve onaya gönder."
girdi:
  belge: ornekler/fatura-007.pdf
  baglam: "Tedarikçi kaydı sistemde var, sipariş numarası belgede eksik."
beklenen_son_durum:
  eslesen_siparis: SIP-2026-0412
  onay_kuyrugu: true
  degistirilen_kayit_sayisi: 1
kabul:
  yan_etki_yok: true
  maksimum_arac_cagrisi: 6
zorluk: orta

Karşı görüş#

En güçlü karşı argüman maliyet: kurum içi görev seti kurmak ve bakımını yapmak gerçek bir mühendislik yatırımı. Küçük ekipler için kamuya açık skorlara bakıp geçmek rasyonel bir tercih olabilir. İkinci karşı argüman aşırı uyum: ekip yalnızca kendi 30 göreviyle çalıştığında, o görevlerde iyi ama genel olarak kötü bir kurulumu farkına varmadan optimize edebilir.

İkinci riske karşı pratik önlem, görev setini iki parçaya ayırmak: geliştirme sırasında görülen bir küme ve yalnızca sürüm kararlarında açılan, kapalı tutulan bir küme. Bu, klasik makine öğrenmesindeki eğitim/test ayrımının aynısı ve aynı nedenle işe yarıyor.

Sonuç#

Değerlendirme, yapay zekâ ürünlerinde rekabet avantajının biriktiği yer haline geliyor. Modeller herkese açık; istemler kopyalanabilir; araçlar benzer. Kopyalanamayan şey, bir kurumun kendi işini ölçebilme yeteneği. Bu yetenek olmadan model değiştirme kararı bir tahmin, model iyileştirme çabası ise ölçülemez bir harcama.

Ne yapmalı?#

1. 01Üretimdeki gerçek isteklerden 30-50 örnek seçin; beklenen son durumu elle yazın.
2. 02Setin üçte birini kapalı tutun; yalnızca sürüm kararlarında koşturun.
3. 03Her sürümde aynı yedi metriği raporlayın; tek bir skora indirmeyin.
4. 04Her üretim arızasından sonra o vakayı görev setine ekleyin.
5. 05Seti, sağlayıcıdan bağımsız bir biçimde saklayın; taşınabilirliği koruyun.