Düzen anlama ve alan çıkarımının üç katmanı

Teori: üç katman ve hatanın kaynağı#

Kaynak katmanı belgenin fiziğidir. Dijital olarak üretilmiş bir belgede metin, konumuyla birlikte zaten gömülüdür ve doğrudan okunabilir; taranmış bir sayfada yalnızca piksel vardır, metin optik karakter tanımayla üretilir. Bu aşamada üretilen her hata sonraki katmanlara aynen taşınır ve orada düzeltilemez. Gömülü metnin bulunması da yetmez: bozuk font eşlemesiyle üretilmiş bir belgede kopyalanan metin okunaksız çıkabilir.

Düzen katmanı sayfanın geometrisidir. Metin akışı görsel düzeni taşımaz: iki sütunlu bir sayfada satırlar birbirine karışır, tablo hücreleri tek bir satır dizisine iner, üstbilgi gövdenin ortasına düşer. Düzen çözümü metin parçalarına konum kutusu ve rol atar: başlık, hücre, dipnot, imza alanı. Görsel ve dilsel girdiyi birlikte işleyen modeller bu konum bilgisini doğrudan kullanır; yalnızca düz metin gören bir model "Toplam" ile sayının aynı satırda olduğunu ancak metin sırasından tahmin eder.

Yorum katmanı ilişkidir. Alan değeri, etiket ile değer arasındaki bağdan türetilir: "Toplam"ın sağındaki sayı, "Fatura tarihi"nin altındaki tarih. Bu katmanın hatası genellikle okuma hatası değil seçim hatasıdır; iki doğru okunmuş sayıdan yanlış olanı alınır, ara toplam genel toplam sanılır. Bu yüzden yorum katmanı hataları en sinsileridir: çıktı biçimsel olarak kusursuz görünür.

Uygulamada: yapıya göre ele alış#

Uzun belgeyi parçalarken#

Alan çıkarımında parçalamanın amacı arama değil, alanın kanıtıyla birlikte tek parçada kalmasıdır. Sayfa ve bölüm sınırında bölün; satır veya cümle ortasından kesmek etiketi değerinden ayırır ve yorum katmanına çözülemez bir iş bırakır. Tabloda başlık satırı her parçaya kopyalanır, çünkü hücrenin anlamı sütun başlığından gelir. Her parçaya sayfa numarası ve bölüm yolu iliştirin: çıkarılan değerin nereden geldiğini gösterebilmenin tek yolu budur.

{
  "belge": "fatura-000418",
  "alanlar": [
    {
      "ad": "toplam_tutar",
      "deger": "12450.00",
      "para_birimi": "TRY",
      "kanit": {
        "sayfa": 2,
        "kutu": [412, 980, 520, 1004],
        "metin": "Genel Toplam 12.450,00"
      }
    },
    {
      "ad": "vergi_no",
      "deger": null,
      "kanit": null,
      "not": "belgede bulunamadı"
    }
  ]
}

Ölçüm: alan bazında doğruluk#

• Alan doğruluğu: normalleştirme sonrası doğru değer oranı, her alan için ayrı hesaplanır.
• Doldurma ile atlama ayrımı: alan yanlış mı dolduruldu yoksa boş mu bırakıldı; ikisinin operasyonel maliyeti farklıdır.
• Belge düzeyinde tam doğruluk: bütün kritik alanları doğru olan belge oranı; operasyonun gerçekte hissettiği sayı budur.
• Katman etiketi: her hatanın yanına kaynak, düzen veya yorum etiketi yazın; düzeltme bütçesi bu dağılıma göre harcanır.
• Normalleştirme kuralları yazılı olsun: tarih biçimi, ondalık ayırıcı, para birimi ve unvan sonekleri karşılaştırmadan önce sabitlenir.

Sık yapılan hata#

Karakter düzeyindeki başarıyı alan düzeyindeki başarı sanmak. Bir sayfadaki karakterlerin ezici çoğunluğu doğru okunsa bile tek karakterlik kayma bir hesap numarasını, vergi numarasını veya tutarı geçersiz kılar; bu alanlarda kısmî doğruluk diye bir şey yoktur. İkinci yaygın hata, bütün alanları tek bir ortalamada toplamaktır: serbest açıklama alanındaki gürültü, tutar alanındaki hatayı ortalamanın içinde gizler.