Değerlendirme kümesini örneklemek ve dengelemek
Gerçek kullanım kayıtlarından hata sınıflarına göre dengeli bir değerlendirme kümesi çıkarmayı, beklenen yanıtı zorunlu ve yasak bileşenler olarak yazmayı ve karar kümesini sızmaya karşı ayrı tutmayı öğretir.
Önkoşul: Evaluation
BU DERSİN SONUNDA
- Üretim kayıtlarından katmanlı örneklemeyle değerlendirme kümesi çıkarmak
- Beklenen yanıtı zorunlu ve yasak bileşenler listesi olarak yazmak
- Geliştirme ve karar kümelerini sızmaya karşı ayırmak
- Kümeyi üretim hatalarıyla sürümleyerek büyütmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Değerlendirme kümesi üretim kayıtlarından rastgele değil katmanlı seçilir: her hata sınıfından, iki sürümü ayırt edecek kadar vaka alınır. Her vakanın yanında tek doğru metin değil, zorunlu bileşenler ile yasak bileşenler listesi durur. Küme, tek tek vakalarına bakılarak geliştirme yapılan bir bölüm ile karara esas olan ve elle ayarlanmayan bir bölüm olarak ikiye ayrılır.
Teori: rastgele örnekleme neden yetmez#
Üretim trafiği dengeli değildir: sorular birkaç sık kalıpta yoğunlaşır, pahalı hatalar ise uzun kuyrukta bulunur. Rastgele örnekleme trafiğin şeklini korur, ama tam bu yüzden nadir hata sınıflarını temsil eden vaka sayısı iki sürümü ayırt edemeyecek kadar azda kalır. Kümeyi kurmaktaki amaç trafiği taklit etmek değil, kararı desteklemektir.
Çözüm katmanlı örnekleme: kayıtları hata sınıfı, görev tipi ve zorluk eksenlerine bölüp her hücreden hedeflenmiş sayıda vaka almak. Bunun bedeli, küme dağılımının gerçek trafikten sapmasıdır; artık "kümede şu oranda başarılıyız" cümlesi üretimdeki oranın tahmini değildir. İki soruyu ayrı tutun: "bu değişiklik neyi bozdu" sorusunu katmanlı küme yanıtlar, "kullanıcı ne sıklıkla kötü yanıt görüyor" sorusunu trafiğe oranlı ayrı bir örneklem. En değerli hücre sınırda vakalardır: herkesin doğru yaptığı vaka yer tutar, kimsenin yapamadığı vaka ilerlemeyi göstermez.
Küme bölümleri ve sızma#
| Bölüm | Ne için kullanılır | Kim neyi görür | Ne zaman değişir |
|---|---|---|---|
| Geliştirme kümesi | İstem, geri getirme ve rubrik üzerinde deneme | Geliştiren herkes, tek tek vaka metinleri dahil | Serbest; her denemede genişleyebilir |
| Karar kümesi | Sürüm karşılaştırması ve regresyon kapısı | Toplu sonuç ve sınıf dağılımı; vaka metinleri günlük işe girmez | Yalnızca sürüm notuyla, planlı olarak |
| Trafik örneklemi | Üretimdeki genel durumu tahmin etmek | Toplu oran raporlanır | Dönemsel olarak yenilenir |
| Olumsuz katman | Saldırı ve reddetme davranışını ölçmek | Erişimi kısıtlı, ayrı raporlanır | Yeni saldırı ailesi göründükçe |
Beklenen yanıt nasıl yazılır#
Açık uçlu görevlerde tek doğru metin yoktur; iki farklı iyi yanıt kelimesi kelimesine örtüşmez. Bu yüzden beklenen yanıt örnek metin olarak değil kabul rubriği olarak yazılır: bulunması zorunlu bileşenler, bulunmaması gereken bileşenler ve biçim koşulu. Örnek bir yanıt metni yine yazılabilir, ama rolü ölçüt değil etiketleyiciye yön veren referanstır. Bu ayrım korunmazsa ölçüm sessizce üslup benzerliğini ödüllendirmeye başlar.
kimlik: police-kapsam-031
katman: karar
gorev_tipi: belge-sorusu
zorluk: sinirda
hedef_hata_sinifi: desteksiz-iddia
girdi:
soru: "Cam kırılması poliçe kapsamında mı, muafiyet ne kadar?"
kaynak_kumesi: ["police-2026-genel", "ek-teminatlar-v4"]
zorunlu_bilesenler:
- "Cam kırılmasının ek teminat olduğunun belirtilmesi"
- "Muafiyetin poliçedeki maddeye atıfla verilmesi"
- "Ek teminat yoksa isteğin kapsam dışı olduğunun söylenmesi"
yasak_bilesenler:
- "Kaynak kümesinde karşılığı olmayan bir tutar veya oran"
- "Başka bir poliçe türüne ait koşulun aktarılması"
bicim:
atif_zorunlu: true
maksimum_paragraf: 3
etiketleyici_notu: "Ek teminatın alınıp alınmadığı girdide belirsiz;
yanıtın bu belirsizliği adlandırması beklenir."Etiketleme yönergesi#
- Her hata sınıfı için ayırt edici ölçüt ve en az bir sınırda örnek.
- Karar verilemeyen vaka için ne yapılacağı: "belirsiz" etiketi ve zorunlu gerekçe alanı.
- Yanıtın hangi bölümünün değerlendirileceği: yalnızca son yanıt mı, ara adımlar da mı.
- Kaynak kontrolünün derinliği: atıf var mı, atıf iddiayı destekleyen pasajı mı gösteriyor.
- İki etiketleyici anlaşmazsa uzlaşma yolu: üçüncü okuma mı, ölçüt güncellemesi mi.
- Etiketin yanına yazılacak bağlam: hangi sürüm, hangi tarih, hangi yönerge sürümü.
Kümeyi büyütmek#
- 1Hatayı yakala
Üretimde şikayet gelen veya elle düzeltilen her yanıtı ham kayıt olarak biriktirin. Kayıt anında sınıflandırmaya çalışmayın; sınıflandırma yorum gerektirir, biriktirme gerektirmez.
- 2Tekrar üretilebilir vakaya çevir
Girdiyi, kaynak kümesini ve varsa araç yanıtlarını sabitleyin. Aynı girdiyle yanıt bir daha üretilemiyorsa elinizdeki vaka değil anekdottur ve kümeye girmez.
- 3Sınıf ve hücre ata
Vakayı hata sınıfı, görev tipi ve zorluk eksenlerine yerleştirin. Hiçbir mevcut sınıfa oturmuyorsa bu, sınıf listesinin eksik olduğuna dair bir sinyaldir ve önce liste güncellenir.
- 4Sürümle ekle
Vakayı küme sürüm notuyla ekleyin. Küme sürümü değiştiğinde eski koşuların skorları yeni koşularla doğrudan kıyaslanamaz; bu kural kümenin belgesinde yazılı olsun.
Sık yapılan hata#
En yaygın hata, kümeyi bir kez kurup bitmiş saymak. Ürün değiştikçe hata sınıflarının dağılımı değişir; birkaç sürüm önce ayırt edici olan vakalar herkesin geçtiği vakalara dönüşür ve küme karar üretmeyi bırakır. İkincisi, beklenen yanıtı örnek metin olarak yazıp etiketleyiciden metin benzerliği beklemek: farklı kelimelerle verilmiş doğru yanıt bu kurguda hata sayılır. Üçüncüsü, düzeltilen üretim hatasını kümeye eklemeyi atlamak; aynı hata birkaç sürüm sonra geri geldiğinde onu yakalayacak vaka yoktur.
LAB · UYGULAMALI ALIŞTIRMA
Karar kümesinin ilk sürümünü kurun
- 1Önceki dersin hata sınıflarını satır, görev tiplerini sütun yapan bir ızgara çizin ve her hücreye hedef vaka sayısı yazın.
- 2Kayıtlarınızı bu ızgaraya göre tarayıp her hücre için vaka seçin; hücre dolmuyorsa boş bıraktığınızı not edin, doldurmak için vaka uydurmayın.
- 3Seçtiğiniz her vakanın girdisini ve kaynak kümesini sabitleyin, sonra zorunlu ve yasak bileşenleri yazın.
- 4Vakaları geliştirme ve karar bölümlerine ayırın; karar bölümünü ayrı bir dosyaya alıp günlük işte açılmamasını yazılı kural haline getirin.
- 5İki kişi, yönergeyle karar bölümünden on vakayı bağımsız etiketlesin; ikinci kişi yoksa aynı on vakayı bir gün arayla kendiniz iki kez etiketleyin. Uyuşmayan vakalarda sorunun vaka tanımında mı yönergede mi olduğunu belirleyin.
- 6Izgaradaki boş hücreleri ve uyuşmazlık nedenlerini kümenin sürüm notuna yazın.
Beklenen çıktı
Hata sınıfı ve görev tipine göre dengelenmiş, zorunlu ve yasak bileşenleri yazılmış, geliştirme ve karar bölümleri ayrılmış sürümlü bir değerlendirme kümesi.
Sık sorulan sorular
Kümede kaç vaka olmalı?
Hedef sayı, ayırt etmek istediğiniz farkın büyüklüğüne ve vaka başına değişkenliğe bağlıdır; küçük farkı görmek istiyorsanız daha çok vaka gerekir. Yapısal bir ölçüt daha kullanışlı: bir hücrede tek haneli vaka varsa o hücre karar taşımaz, yalnızca fikir verir. Kümeyi, karşılaştırma sonuçsuz kaldıkça ve yeni üretim hataları geldikçe büyütün.
Sentetik vaka üretmek meşru mu?
Nadir sınıfların kapsanması için iskele olarak kullanılabilir, ama üç koşulla: sentetik olduğu vaka kaydında etiketlenir, gerçek vakalarla aynı hücrede karıştırılmaz ve tek başına sürüm kararına esas alınmaz. Dağılımı gerçek vakalar tanımlar; sentetik vaka yalnızca boşluğu görünür tutar.
Kayıtlarda kişisel veri var; bu vakaları kümeye nasıl alırım?
Vakayı ham kayıttan olduğu gibi kopyalamak yerine kimlik taşıyan alanları yer tutucuyla değiştirin ve aynı kişinin her geçişini aynı yer tutucuya eşleyin; görevin çözülebilir kalması bu tutarlılığa bağlıdır. Maskeleme vakanın zorluğunu değiştiriyorsa — tarih, tutar veya kimlik biçimi görevin parçasıysa — gerçek değeri değil biçimi koruyan bir değer üretin ve vakayı maskelenmiş olarak etiketleyin. Maskelenemeyen bir vaka kümede kalacaksa erişimi kısıtlanır ve kimlerin okuyabileceği küme belgesine yazılır.
LEARN
Değerlendirme Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.