Doğrulama hattı: örnekleme denetimi ve kabul kümesi
Canlı akıştan örnekleme ile sürüm kapısında koşan kabul kümesinin hangi farklı soruları yanıtladığını, süreç panosunda hangi sayıların izleneceğini ve sürüm değişiminin nasıl kapıya bağlanacağını öğretir.
Önkoşul: Machine Learning, Guardrails
BU DERSİN SONUNDA
- Örnekleme denetimi ile kabul kümesini birbirinin yerine koymadan kurmak
- Şerit ve risk bazlı bir örnekleme planı yazıp kayıt alanlarını tanımlamak
- Süreç panosundaki sayıları kimin kararını değiştirdiğine göre seçmek
- Sürüm değişiminde farkı düzelen ve bozulan vakalar olarak ayırıp kabul kararı vermek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Yayına alınmış bir belge akışı iki ayrı düzenle korunur: canlı işten örnekleme, dünyanın değiştiğini haber verir; sürüm değiştiğinde koşan donmuş bir kabul kümesi ise değişikliğin daha önce doğru çalışan vakaları bozduğunu haber verir. İkisi farklı sorulara cevap verir ve biri diğerinin yerine geçmez.
Teori: iki farklı soru#
Örnekleme, canlı akıştan seçilen belgelerin elle kontrol edilmesidir. Yakaladıkları arasında yalnızca örneklemenin görebildiği şey, girdi dağılımının kaymasıdır. Yeni bir tedarikçi başka şablon kullanmaya başlar, tarama cihazı değişir, yılın belli döneminde farklı bir belge türü akar. Sistem tarafında hiçbir şey değişmemiş olsa bile hata oranı yükselir ve bunu yalnızca canlı veriden örnekleme görür.
Kabul kümesi ise donmuş bir belge ve beklenen çıktı listesidir; sistem tarafı değiştiğinde koşturulur: istem metni, model sürümü, eşik, parçalama kuralı, normalleştirme mantığı. Buna karşılık yalnızca kabul kümesinin görebildiği şey, daha önce doğru çalışan vakaların bozulmasıdır. Örnekleme bunu göremez çünkü aynı belgeyi iki kez görmez; kabul kümesi de dağılım kaymasını göremez çünkü dünü temsil eder.
İki düzen bir döngüyle birbirini besler: örneklemede bulunan her yeni hata biçimi, düzeltildikten sonra kabul kümesine kalıcı bir vaka olarak eklenir. Kabul kümesi böylece kurumun hata belleğine dönüşür. Bu döngü kurulmazsa küme zamanla temsil gücünü yitirir ve sorunsuz geçen bir kapının hiçbir anlamı kalmaz.
Uygulamada: örnekleme planı#
| Şerit | Ne kadar bakılır | Kim bakar | Ne kaydedilir |
|---|---|---|---|
| Otomatik geçen belgeler | Günlük sabit sayıda rastgele belge; hata görülmeye başlandığında sayı artırılır | Süreç ekibinden dönüşümlü bir kontrolör | Hatalı alan, hata biçimi, belge kaynağı |
| Hedefli kontrol şeridi | Zaten tamamı görülür; ayrıca haftalık bir örneklemde kontrolörün düzeltmesi doğrulanır | İkinci bir kontrolör | Düzeltmenin kendisi doğru muydu |
| Tam devir | Devir nedenleri haftalık gözden geçirilir | Süreç sahibi | Neden dağılımı ve tekrarlayan kaynaklar |
| Yeni kaynak veya yeni şablon | İlk belgelerde tam kontrol; hata görülmedikçe seyreltilir | Konuyu bilen operatör | Şablon kimliği ve ilk hatanın tarihi |
Pano: hangi sayı kimin kararını değiştirir#
- Alan bazlı hata oranı: hangi alanın düzeltileceğini söyler; tek bir toplam sayı bu kararı veremez.
- Şerit dağılımı: otomatik, hedefli ve devir oranları kapasite planını ve eşiklerin işe yarayıp yaramadığını gösterir.
- Belge başına işlem ve bekleme süresi: otomasyonun asıl vaadi budur. Doğruluk artarken süre düşmüyorsa kazanç kontrol yüküne gitmiştir.
- Yeniden işleme ve geri dönen belge oranı: hatanın ne kadarının aşağı akıştan size geri döndüğünü gösterir.
- Her sayının yanında kaynağı ve ölçüm tanımı yazılı olsun; tanım sessizce değişirse eğri kırılır ve kimse nedenini hatırlamaz.
Karar: sürüm değişince ne koşar#
- 1Değişikliği tek başına yapın
İstem, model sürümü, eşik ve parçalama kuralı aynı anda değişirse farkın hangisinden geldiği bilinemez.
- 2Kabul kümesini koşturun
Çıktıyı beklenen değerlerle alan alan karşılaştırın. Toplam skor değil, hangi vakanın bozulduğu önemlidir.
- 3Farkı iki yöne ayırın
Düzelen ve bozulan vakalar ayrı listelenir. Net iyileşme tek başına yanıltıcıdır; bozulan tek bir vaka kritik bir türde olabilir.
- 4Eşikleri yeniden okuyun
Sürüm değişimi kalibrasyonu kaydırır; eski eşik yeni sürümde aynı anlamı taşımaz, kova ölçümü tekrarlanır.
- 5Geri alma yolunu yazın
Değişiklik, sürüm etiketi ve geri dönüş adımıyla birlikte kaydedilir; canlıda hangi sürümün koştuğu her an okunabilir olmalıdır.
Sık yapılan hata#
Tek bir toplam doğruluk sayısına bakmak. Yüksek hacimli ve kolay bir tür ortalamayı yukarı çeker; düşük hacimli ama pahalı bir türdeki bozulma aynı ortalamanın içinde görünmez. Ölçümü her zaman tür ve alan kırılımında tutun, toplamı yalnızca rapor başlığı olarak kullanın. İkinci hata, kabul kümesini üretimde düzeltilen belgelerle beslememektir: en değerli vakalar tam da sistemin yanıldığı ve insanın düzelttiği belgelerdir.
LAB · UYGULAMALI ALIŞTIRMA
Kabul kümesi kurup bir sürüm kapısı koşturun
- 1Canlı akıştan, hata görülen belgeler dahil 25 belge seçin; kritik alanların doğru değerlerini elle yazıp değiştirilmeyecek bir dosyada dondurun.
- 2Her vakaya etiket verin: tür, kaynak, zorluk nedeni (taranmış, çok sayfalı tablo, yeni şablon, gömülü kaşe).
- 3Mevcut sürümü bu küme üzerinde koşturun ve sonucu alan alan kaydedin; bu sizin referans çizginizdir.
- 4Tek bir değişiklik yapın — örneğin yalnızca istemdeki alan tanımını netleştirin — ve kümeyi yeniden koşturun.
- 5Düzelen ve bozulan vakaları iki ayrı listede yazın; bozulan her vaka için nedenini tek cümleyle not edin.
- 6Kabul veya ret kararını, hangi kırılımda kazanç hangisinde kayıp olduğunu ve geri alma adımını tek sayfada yazın.
Beklenen çıktı
Etiketli 25 vakalık donmuş bir kabul kümesi, iki sürümün alan bazlı fark raporu ve gerekçelendirilmiş bir kabul veya ret kararı.
Sık sorulan sorular
Örnekleme için kaç belgeye bakmam gerekir?
Tek bir sayı yok; gereken büyüklük yakalamak istediğiniz hata oranına bağlıdır ve hata ne kadar nadirse o kadar çok belge gerekir. Pratik yol, sürdürülebilir bir günlük sayıyla başlamak, birkaç hafta hata çıkmazsa seyreltmek, hata çıktığı anda sıklaştırıp o kaynağa yoğunlaşmaktır.
Kabul kümesindeki doğru değeri kim belirler?
Süreç sahibi. Anlaşmazlık çıkan vakalar kümeye girmeden önce yazılı bir kuralla çözülür; aksi hâlde test, kime sorulduğuna göre sonuç değiştirir. Kural yazılamıyorsa o vaka kabul kümesine değil, kalıcı olarak insana devir listesine aittir.
Ölçümü otomatikleştirebilir miyim; çıktıyı bir model değerlendirsin mi?
Alan çıkarımında buna gerek yok: beklenen değer belli olduğu için karşılaştırma deterministiktir, tek ihtiyaç yazılı normalleştirme kurallarıdır. Model ile değerlendirme ancak serbest metin özetlerinde gündeme gelir ve orada da değerlendirici kendi hatalarını taşıdığı için insan örneklemesinin yerini almaz.
LEARN
Belge Otomasyonu Uzmanı rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.