Güven eşiği, kalibrasyon ve insana devir şeritleri
Güven skorunun ne anlama geldiğini, kendi verinizde kalibrasyonun nasıl ölçüldüğünü ve otomatik geçiş, hedefli kontrol ile tam devir şeritlerinin eşiklerinin nasıl seçileceğini öğretir.
Önkoşul: Machine Learning, Large Language Model
BU DERSİN SONUNDA
- Bir güven skorunun kalibre olup olmadığını kova bazlı karşılaştırmayla değerlendirmek
- Alan başına eşik seçip otomatik geçen oran ile kaçan hata arasındaki ödünleşimi göstermek
- Belgede karşılığı olmayan değerleri kanıt zorunluluğu ve deterministik kurallarla yakalamak
- Devir kararını teknik kararla iş kararına ayırıp doğru tarafa bırakmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Güven değeri bir doğruluk garantisi değil, sistemin kendi kestirimidir; kurumunuzun verisinde ölçülmeden eşik seçilemez. Eşik seçimi, otomatik geçen belge oranı ile gözden kaçan hata arasındaki ödünleşimin nereye konduğudur ve bu, mühendislik kararı değil hata maliyetini taşıyan tarafın kararıdır.
Teori: kalibrasyon nedir#
Bir skor kalibre ise, o skoru taşıyan kararların gerçek doğruluk oranı skora yakındır: 0,9 diyen kararların yaklaşık onda dokuzu doğrudur. Kalibre değilse skor yalnızca sıralama bilgisi taşır; yüksek skorlu kararlar düşük skorlulardan daha doğrudur ama "0,9" hiçbir şey vaat etmez. Skor gerçek doğruluğun üstünde de altında da çıkabilir ve sapmanın yönü sisteme, alana ve belge kaynağına göre değişir; bu yüzden sayı olduğu gibi kabul edilmez, kendi verinizde ölçülür.
Ölçüm için etiketli bir örneklem şarttır: skorları kovalara bölün, her kovada gerçek doğruluk oranını hesaplayın ve kovanın skor ortalaması ile gerçek oranı yan yana koyun. Gerçek oran ortalamanın altında kalıyorsa sistem aşırı güvenlidir ve eşik yukarı çekilir. Bu ölçüm alan başına yapılır, çünkü aynı sistem tarih alanında iyi, taraf adında kötü kalibre olabilir.
Bir ayrım kritik: modelin metin olarak yazdığı "güven: yüksek" ifadesi bir ölçüm değil, üretilmiş metindir. Sayısal güven ya üretim olasılıklarından ya da ayrı bir doğrulama adımından gelir. Modelden kendi çıktısına not vermesini istemek aynı yanlışı ikinci kez üretme riskini taşır: yanlış okumayı yapan sistem, o okumayı değerlendirirken de aynı yanlışa dayanır.
Uygulamada: üç şerit#
| Şerit | Giriş kuralı | Kim bakar | Şeritte ölçülen |
|---|---|---|---|
| Otomatik geçiş | Tüm kritik alanlar üst eşiğin üstünde ve biçim doğrulamaları geçti | Kimse; yalnızca örneklemeyle denetlenir | Örneklemde çıkan kaçan hata oranı |
| Hedefli kontrol | En az bir kritik alan iki eşik arasında | Operatör yalnızca işaretli alanı ve kanıtını görür | Alan başına düzeltme oranı ve kontrol süresi |
| Tam devir | Alt eşiğin altında, kanıtı yok veya belge türü tanınmadı | Operatör belgeyi baştan işler | Devir oranı ve devir nedeni dağılımı |
Belgede karşılığı olmayan değer#
En pahalı hata alanın boş bırakılması değil, belgede yazmayan bir değerin makul görünerek doldurulmasıdır. Aşağı akıştaki hiçbir biçim kontrolü bunu yakalayamaz, çünkü değer geçerli görünür. Çözüm güven eşiğini yükseltmek değil, her alan değerini belgedeki bir konuma bağlamaktır: kanıtı olmayan değer, skoru ne olursa olsun devredilir. Bu kural aynı zamanda ölçümü de kolaylaştırır, çünkü kanıt aralığı belgede birebir aranabilir.
- Kanıt zorunluluğu: her alan sayfa ve metin aralığıyla döner; aralık belgede bulunamıyorsa alan reddedilir.
- "Yok" meşru cevaptır: şema alanın boş dönebileceğini açıkça tanımlar, aksi hâlde sistem boşluğu doldurmaya zorlanır.
- Biçim ve sağlama kuralları: sağlama basamağı olan numaralar, geçerli tarih aralıkları, satır toplamı ile genel toplamın eşitliği.
- Ana veri eşlemesi: taraf adı, para birimi, şirket kodu gibi alanlar kendi listelerinizle eşleşmelidir.
- Çapraz alan kuralları: fatura tarihi vade tarihinden sonra olamaz, miktar ile birim fiyatın çarpımı satır tutarını vermelidir.
Karar: eşik nasıl seçilir#
- 1Etiketli örneklem ayırın
Geliştirme sırasında bakılmamış, canlı dağılımı temsil eden belgeler seçilir ve her kritik alanın doğru değeri elle yazılır.
- 2Skorları kovalara bölün
Her alan için skor aralıklarına göre gruplayın; kova başına gerçek doğruluk oranını hesaplayıp kovanın skor ortalamasıyla karşılaştırın.
- 3Hatanın maliyetini yazın
Alan başına: yanlış değerin parasal, hukuki ve itibar sonucu; hatanın aşağı akışta yakalanma ihtimali ve geri dönüşünün olup olmadığı.
- 4Kabul edilebilir kaçan hatayı süreç sahibine sordurun
Sınırı taşıyan taraf koyar. Sizin işiniz seçeneği göstermek: bu eşikte şu kadar belge otomatik geçer, karşılığında şu tür hata kaçar.
- 5Eşiği okuyun ve maliyetiyle raporlayın
Seçilen eşikte otomatik geçen oran, kontrol yükü ve beklenen kaçan hata birlikte yazılır; üçü ayrılırsa rapor yanıltır.
Sık yapılan hata#
Tek bir genel eşik koymak. Hata maliyeti alan başına değişir: hesap numarası veya tutar yanlışsa para yanlış yere gider, açıklama alanı yanlışsa çoğu zaman kimse fark etmez. Tek eşik ya ucuz alanlar yüzünden pahalı alanları serbest bırakır ya da pahalı alanlar yüzünden her şeyi insana yığar. İkinci hata eşiği bir kez koyup unutmaktır: belge kaynakları, şablonlar ve sistem sürümü değiştikçe kalibrasyon kayar, eski eşik yeni anlamda okunur.
LAB · UYGULAMALI ALIŞTIRMA
Kendi verinizde güven ile doğruluğu karşılaştırın
- 1Sisteminizin son çalıştırdığı işlerden, ayar sırasında bakılmamış 50 belge ayırın ve her belgede aynı üç kritik alanı seçin.
- 2Her alan için sistemin döndürdüğü değeri, güven skorunu ve kanıt konumunu bir tabloya yazın; sisteminiz skor döndürmüyorsa skor yerine "kanıt bulundu / bulunamadı" ikilisini kullanın.
- 3Aynı alanların doğru değerlerini belgeye bakarak elle doldurun; karşılaştırmadan önce tarih biçimi ve ondalık ayırıcı gibi normalleştirme kurallarını yazılı hale getirin.
- 4Skorları beş kovaya bölün, her kovada doğru alan oranını hesaplayın ve kovanın skor ortalamasıyla yan yana yazın.
- 5Üç alan için ayrı ayrı, kabul edilebilir kaçan hatayı sağlayan en düşük eşiği okuyun ve o eşikte otomatik geçen alan oranını not edin.
- 6Kanıt konumu boş dönen alanları ayrı sayın ve bunların skor dağılımına bakarak kanıtsız değerlerin yüksek skorla gelip gelmediğini gösterin.
Beklenen çıktı
Üç kritik alan için kova bazlı güven-doğruluk tablosu, alan başına önerilen eşik ve o eşikte otomatik geçen oranın karşılığı.
Sık sorulan sorular
Sistemim sayısal güven skoru döndürmüyor, şeritleri nasıl kurarım?
Vekil göstergeler kurabilirsiniz: kanıt aralığının belgede birebir bulunması, deterministik biçim kurallarının geçmesi ve aynı alanın iki bağımsız geçişte aynı değeri vermesi. Bunlar sürekli bir skor üretmez ama üç şeridi kurmaya yeter; kalibrasyon ölçümünü de bu ikili göstergelerle yapabilirsiniz.
Modelin kendi verdiği güven notuna neden güvenemiyorum?
Çünkü o not da üretimdir ve yanlış okumayı yapan sistemle aynı bilgiye dayanır. Bağımsız bilgi taşıyan kontroller ayrıdır: belgedeki kanıt aralığı, deterministik kurallar ve ana veriyle eşleşme. Kendi kendini değerlendiren bir çıktı, aynı yanılgıyı ikinci kez onaylayabilir.
Eşikleri ne sıklıkla yenilemeliyim?
Takvimle değil olayla: yeni belge kaynağı veya şablon geldiğinde, istem ya da model sürümü değiştiğinde, yeni bir tür eklendiğinde. Bunların dışında izlediğiniz devir oranı ile örneklem hata oranı sapmaya başladığında kalibrasyon yeniden ölçülür.
LEARN
Belge Otomasyonu Uzmanı rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.