Çok modlu belge hattı kurmak

Belge hatlarının çoğu, çıktıya bakarak büyüdüğü için dağılıyor: model bir şey döndürüyor, ekip onu ayrıştırmaya çalışıyor, her yeni belge yeni bir istisna ekliyor. Doğru sıra tersi — önce alan sözleşmesi, sonra hat.

{
  "belge_sinifi": "fatura",
  "alanlar": {
    "belge_no":   { "tip": "metin",   "zorunlu": true,  "bicim": "^[A-Z0-9-]+$" },
    "tarih":      { "tip": "tarih",   "zorunlu": true,  "bicim": "YYYY-AA-GG" },
    "toplam":     { "tip": "ondalik", "zorunlu": true,  "birim_alani": "para_birimi" },
    "para_birimi":{ "tip": "metin",   "zorunlu": true,  "kume": ["TRY", "USD", "EUR"] },
    "kalemler":   { "tip": "liste",   "zorunlu": false }
  },
  "kanit_zorunlu": ["belge_no", "toplam"]
}

Sondaki kanıt listesi sonraki adımların dayanağı: bu alanlarda modelden yalnızca değer değil, değerin sayfadaki konumu da istenir. Sözleşmeyi şema doğrulayıcısına bağlayın — biçime uymayan bir çıktı hatta ilerlememeli, düzeltilmeye çalışılmamalı.

Sınıfları ayırmak yalnızca doğruluk için değil, hata ayıklama için gerekli: bozulma tek bir sınıfa özgüyse onu ancak ayrılmış ölçümde görürsünüz. Birleştirilmiş bir ortalama, bir sınıfın tamamen çöktüğü haftalarda bile makul görünebiliyor.

Doğrulama adımı: her sınıftan en az on sayfayı elle doğrulanmış altın kümeye koyun ve bu kümeyi sürüm kontrolüne alın. Sonraki tüm kararların ölçüsü bu küme olacak; küçük tutun ama gerçek tutun — temizlenmiş, seçilmiş örneklerden oluşan bir küme hattı kandırır.

Ön işleme sıkıcıdır ve en çok kazandıran adımdır. Yönü düzeltilmemiş bir sayfa iyi bir modelin bile okuma sırasını bozuyor; düşük çözünürlükte ise model boş alan görmez, olmayan bir değer üretir. İkinci hata birincisinden çok daha pahalı çünkü sessiz.

1. 01Sayfaları tek tek işleyin; çok sayfalı bir dosyayı tek bir uzun görsele birleştirmeyin.
2. 02Yönü ve eğikliği düzeltin; taramalarda en sık görülen bozulma budur.
3. 03Çözünürlüğü sınıf bazında sabitleyip yapılandırmaya yazın. Tarama tarafında 300 DPI yaygın bir başlangıç noktasıdır; kararı altın kümenizdeki en küçük puntonun okunabildiği en düşük ayara bakarak verin.
4. 04Sayfa numarasını ve dosya kimliğini her çıkarıma iliştirin; kaynağa dönemeyen bir değer denetlenemez.

Dijital üretilmiş bir belgenin metin katmanı, görsel okumadan daha ucuz ve karakter düzeyinde daha güvenilir. Görsel okumanın kazandığı yer düzen: hangi hücre hangi başlığa ait, hangi kutu işaretli, imza alanı boş mu. Doğru kurulum ikisini yarıştırmaz, rol paylaştırır.

1. 1Metin katmanını dene

   Gömülü metin varsa ve okunabilirlik eşiğini geçiyorsa birincil kaynak odur; karakter düzeyindeki değerler oradan alınır.

2. 2Görselle çapraz denetle

   Kanıt zorunlu alanlar için model aynı değeri sayfa görselinden okur; iki okuma uyuşmuyorsa alan düşük güvenli işaretlenir.

3. 3Metin yoksa iki okumayı birlikte koştur

   Taranmış sayfada OCR'ı karakter düzeyindeki değerler, görsel okumayı düzen ve elle doldurulmuş alanlar için kullanın; ikisini tek bir birincil kaynağa indirgemeyin, uyuşmazlık alanı düşük güvenli işaretlesin.

4. 4Kararı iz kaydına yaz

   Hangi yolun seçildiği her sayfa için kaydedilir; sonraki hata ayıklamanın ilk sorusu budur.

Okunabilirlik eşiğini kendiniz ölçün. Taranmış sayfalarda metin katmanı genellikle ya hiç yoktur ya da kırık çıkar; bu iki durumu ayırt etmek için sayfadaki karakter sayısı ve sözlükte karşılığı bulunan kelime oranı gibi basit bir sezgisel çoğu zaman yetiyor.

Bir değerin doğru olup olmadığını denetleyebilmek için nereden geldiğini bilmek gerekir. Modelden yalnızca “toplam” istemek, denetlenemeyen bir cevap istemektir. Aynı istekte sayfa numarası, tablo adı, satır etiketi ve okunan ham metin de istendiğinde çıkarım denetlenebilir hâle gelir.

{
  "toplam": {
    "deger": "12450.00",
    "para_birimi": "TRY",
    "kanit": {
      "sayfa": 2,
      "tablo": "kalemler",
      "satir_etiketi": "Genel toplam",
      "okunan_metin": "Genel toplam 12.450,00 TL"
    }
  }
}

Yukarıdaki değerler temsilî; önemli olan yapı. Ham metin alanı özellikle değerli, çünkü biçim farkını — ondalık ayracı, binlik ayracı, para birimi eki — sonradan denetlemenizi sağlıyor ve yanlış normalleştirmeyi yakalıyor.

Bir dil modeline “bu değerden ne kadar eminsin” diye sorup yüzde almak kalibre bir olasılık üretmez; üretilen şey bir metindir ve eşik kurmaya elverişli değildir. Güven, alanın kendisinden ve birbirinden bağımsız kontrollerden üretilmelidir.

Doğrulama adımı: altın kümede güven skorunu gerçek doğrulukla karşılaştırın. Yüksek güvenli çıkarımların içindeki hata oranı belirgin biçimde düşük değilse skorunuz iş görmüyor demektir; eşik koymadan önce bunu düzeltin, yoksa eşik yalnızca bir kuyruk uzunluğu ayarına dönüşür.

Eşik teknik değil ekonomik bir karardır: bir hatanın maliyetiyle bir incelemenin maliyetini karşılaştırırsınız. Tutar ve kimlik alanlarında hata pahalı olduğu için eşik yüksek tutulur; serbest açıklama alanında hata ucuzdur, eşik düşürülebilir. Bu yüzden eşik alan başına konur.

• Kuyruğa düşen sayfada incelemeciye yalnızca şüpheli alanı ve kanıt bölgesini gösterin; tüm belgeyi yeniden okutmak zaman kaybıdır.
• İncelemecinin düzeltmesini altın kümeye ve eşik ayarına geri yazın; hat ancak böyle öğrenir.
• Kuyruk uzunluğunu bir kapasite sinyali olarak izleyin; sürekli büyüyorsa sorun eşikte değil hattadır.
• Tam otomatik geçen sayfalardan rastgele küçük bir örneklemi yine de insana gösterin; sessiz bozulmayı yalnızca bu yakalar.

Devir kuyruğunu “sonra bakarız” klasörüne dönüştürmeyin. İncelenmemiş kuyruk ölçülmemiş hata demektir ve hattın gerçek doğruluğunu bilinmez hâle getirir: panodaki oran yükselirken kuyrukta biriken hata görünmez.

Sayfa düzeyindeki tek bir doğruluk oranı, kritik alanın bozulmasını önemsiz alanların ortalamasıyla gizler. Ölçüm alan bazında yapılır ve alanlar iş etkisine göre ağırlıklandırılır: tutar alanındaki bir hata ile açıklama alanındaki bir hata aynı tabloda eşit ağırlıkta duramaz.

Şablon değişimi en sık görülen sessiz bozulma nedeni: gönderen kurum düzeni değiştirir, hat aynı kalır, boş dönüş oranı yükselir. Uyarıyı alan doğruluğuna değil boş dönüş ve devir oranına kurun — alan doğruluğu haftalar sonra fark edilir, bu iki metrik ertesi gün.