Kendi görev setinizi kurmak
Üretim kalitesini ölçen değerlendirme hattının ilk adımı.
Önkoşul: Evaluation
BU DERSİN SONUNDA
- Gerçek işten görev seçme ölçütlerini uygulayabilmek
- Doğrulanabilir bir beklenen son durum yazabilmek
- Geliştirme ve karar kümelerini ayırabilmek
- Yedi temel metriği tek raporda sunabilmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Görev seti, kurumun kendi işinden alınmış ve son durumu makine tarafından doğrulanabilen görevlerden oluşan kapalı bir değerlendirme kümesidir. Model seçimi, istem değişikliği ve sürüm kararı bu set üzerinden verilir.
Teori: neden kamuya açık benchmark yetmez#
Üç yapısal sorun var. Birincisi temsil: benchmark, sizin işinizi ölçmüyor. İkincisi sızıntı: yayımlanmış bir test seti gelecekteki eğitim verisinin parçası olabilir, bu yüzden skor artışı yetenek artışı anlamına gelmeyebilir. Üçüncüsü granülerlik: tek bir skor, hangi alt yetenekte zayıf olduğunuzu söylemez.
Görev seçme ölçütleri#
- 01Gerçek olsun: üretim kayıtlarından alınmış, uydurulmamış.
- 02Doğrulanabilir olsun: son durum makine tarafından kontrol edilebilsin.
- 03Geri alınabilir olsun: değerlendirme koşusu kalıcı yan etki bırakmasın.
- 04Ayırt edici olsun: iki model arasında farklı sonuç üretme ihtimali olsun.
- 05Dağılımı temsil etsin: kolay, orta ve zor vakalar birlikte bulunsun.
- 06Başarısızlıkları içersin: üretimde hata veren gerçek vakalar sete girsin.
Örnek: bir görev kaydı#
kimlik: destek-iade-014
kaynak: "üretim kaydı #88412 (anonimleştirildi)"
hedef: "İade talebini politikaya göre değerlendir ve uygun kuyruğa yönlendir."
girdi:
mesaj: "Ürünü 40 gün önce aldım, kutusu açılmadı, iade etmek istiyorum."
musteri_tipi: bireysel
urun_kategorisi: elektronik
beklenen_son_durum:
karar: "politika-disi"
kuyruk: "istisna-degerlendirme"
musteriye_bildirim: true
degistirilen_kayit_sayisi: 1
kabul:
yan_etki_yok: true
maksimum_arac_cagrisi: 4
kaynak_gosterme: "iade politikası md. 4"
zorluk: zor
not: "30 günlük sınırın hemen üstünde; modelin istisna yolunu seçmesi beklenir."`kabul` bölümü, doğruluğun ötesindeki kalite koşullarını taşır. "Yan etki yok" ve "maksimum araç çağrısı" olmadan bir model görevi tamamlar ama yolda gereksiz değişiklikler yapabilir; bu üretimde kabul edilemez.
Küme ayrımı#
| Küme | Kim görür | Ne için kullanılır |
|---|---|---|
| Geliştirme (≈%70) | Ekip serbestçe görür | İstem ve akış iyileştirme, hata teşhisi |
| Karar (≈%30) | Yalnızca sürüm kararında açılır | Sürüm onayı, model değişikliği kararı |
Rapor#
- Tamamlama oranı (genel ve zorluk kırılımlı)
- Adım verimliliği: görev başına ortalama araç çağrısı
- Kurtarma oranı: hatadan sonra göreve dönüş yüzdesi
- Yan etki sayısı: hedef dışı değişiklik toplamı
- Kalibrasyon: bilmediğinde bilmediğini söyleme oranı
- Kararlılık: aynı görevin tekrarlı koşularında sonuç değişkenliği
- Birim maliyet: tamamlanmış görev başına token, süre ve para
LAB · UYGULAMALI ALIŞTIRMA
İlk 30 görevi yazın
- 1Üretim kayıtlarından 30 gerçek vaka seçin: 10 kolay, 10 orta, 10 zor.
- 2Her vakanın beklenen son durumunu iki kişi bağımsız yazsın; farkları tartışıp uzlaşın.
- 3Doğrulama kodunu yazın: son durumu otomatik kontrol eden bir fonksiyon.
- 410 vakayı karar kümesi olarak ayırın ve ayrı bir yerde kilitleyin.
- 5Mevcut kurulumunuzu koşturup yedi metriği raporlayın; bu sizin temel çizginiz.
Beklenen çıktı
Doğrulama kodu yazılmış 30 görevlik set, geliştirme/karar ayrımı ve ilk temel çizgi raporu.
Sık sorulan sorular
Beklenen çıktıyı model yazabilir mi?
Taslak olarak yardımcı olabilir ama son karar insana ait olmalı. Modelin yazdığı beklenen çıktı, modelin kendi eğilimlerini sete kodlar ve ölçümü körleştirir.
LLM-as-judge kullanmak doğru mu?
Makine tarafından doğrulanamayan öznel çıktılarda pratik bir çözüm, ancak tek başına yeterli değil. En az bir insan kalibrasyon turu yapılmalı ve yargıç modelin kendi eğilimleri raporda not edilmeli.
Set ne zaman güncellenir?
Takvimle değil olayla: her üretim arızası, her yeni kullanım senaryosu ve her sağlayıcı sürüm değişikliği sete vaka ekleme fırsatıdır.
ÖLÇ
Değerlendirme Testi
6 soru · 10 dakika · Değerlendirme
LEARN
AI Agent Developer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.