Parça boyu, örtüşme ve gömme modeli seçimi

Teori: parça boyu neyi belirler#

Bir parça tek bir vektöre sıkıştırılır. Parça içinde kaç farklı konu varsa vektör o kadar çok yöne çekilir ve hiçbirinin tam merkezinde durmaz; bu yüzden çok konulu uzun parçalar her sorguya orta derecede benzer, hiçbirine belirgin biçimde yakın olmaz. Tersine tek cümlelik bir parça belirgin bir yön taşır ama o cümlenin hangi koşulda geçerli olduğunu taşımaz.

Jeton sayımı bu karara iki yerden girer. Birincisi, gömme modelinin kabul ettiği giriş uzunluğu jeton cinsindendir ve aşan kısım birçok arayüzde hata verilmeden kırpılır: parçanın sonundaki metin vektöre hiç girmemiş olabilir. Kırpmak yerine hata döndüren arayüzler de vardır; hangisiyle çalıştığınızı bilmeden parça sınırı koymayın. İkincisi, aynı karakter sayısına sahip iki metin aynı jeton sayısını vermez; çekim eki yoğun metinlerde jeton sayısı karakter sayısına göre daha hızlı büyür, bu yüzden sabit karakter sınırıyla bölmek parçaları eşitsiz yapar.

Parça boyu kararı: belirtiden yöne#

Örtüşme ne zaman gerekir#

Örtüşme, komşu parçaların bir miktar ortak metin paylaşmasıdır ve sınırın tam üstüne düşen bilgiyi kurtarmak için vardır. Bedeli iki yönlüdür: dizin büyür ve aynı cümle birden çok parçada geçtiği için ilk sonuçlar birbirinin tekrarına dönüşebilir. Yapısal bölmede kesim zaten anlamlı bir yerden geçtiği için örtüşme ihtiyacı büyük ölçüde düşer; örtüşme asıl olarak yapısı olmayan metinlerde işe yarar.

{
  "parca_kimligi": "urun-el-kitabi-v2#3-4-kalibrasyon",
  "metin": "3.4 Kalibrasyon aralığı, cihazın çalışma sıcaklığına göre ...",
  "jeton_sayisi": 412,
  "ust_veri": {
    "baslik_yolu": ["Kurulum", "Bakım", "Kalibrasyon"],
    "belge_surumu": "v2",
    "bolme_yontemi": "baslik-hiyerarsisi",
    "ortusme_jeton": 0,
    "gomme_modeli": "gomme-a",
    "gomme_surumu": "2",
    "dil": "tr"
  }
}

Kayda gömme modelinin adını ve sürümünü yazmak, ileride pahalıya mal olan bir sorunu baştan çözer: modeli değiştirdiğinizde dizinin tamamı yeniden gömülmelidir, çünkü iki farklı modelin vektörleri aynı uzayda değildir ve aralarındaki yakınlık anlam taşımaz. Kayıtta sürüm yoksa hangi parçanın yeniden gömüldüğü takip edilemez ve geçiş sırasında karışık bir dizinle çalışırsınız. Jeton sayısını da yazmak, kırpılma şüphesini ölçüyle çözmenizi sağlar.

Gömme modeli nasıl seçilir#

1. 1Sabit bir soru-parça kümesi hazırlayın

   Kendi belgelerinizden çıkardığınız soruları ve cevabı taşıyan parça kimliklerini dondurun. Model karşılaştırması ancak değişmeyen bir küme üzerinde anlam taşır. Bu ders için küçük bir küme yeter; kümenin sorgu tipine göre nasıl dengeleneceği ve sürümleneceği beşinci bölümün konusudur.

2. 2Aynı parçalamayı iki modelde gömün

   Parçalamayı sabitleyip aynı parça listesini iki ayrı dizine yazın. Parçalama ile modeli birlikte değiştirirseniz farkın kaynağı atfedilemez hale gelir.

3. 3İlk sonuçları elle işaretleyin

   Her soru için ilk sonuçların ilgili olup olmadığını insan olarak işaretleyin. Yakınlık puanı bu işaretlemenin yerini tutmaz: puan iki metnin yakınlığını ölçer, sorunun cevaplanıp cevaplanmadığını değil.

4. 4Dil ve sorgu tipine göre ayrı bakın

   Terim ağırlıklı sorgular ile kullanıcının kendi ifadesiyle sorduğu sorular ayrı ayrı sayılır. Tek bir ortalama, bir sorgu tipindeki çöküşü gizler.

5. 5Taşıma maliyetini karara katın

   Seçilen model dizinin tamamının yeniden gömülmesini gerektiriyorsa, kazanç bu maliyeti ve geçiş boyunca iki dizini bir arada tutma ihtiyacını karşılamalıdır.

Sık yapılan hata#

En yaygın hata, parça boyunu tek bir sayıya indirip tüm koleksiyona uygulamaktır. Aynı dizinde mevzuat metni, ürün el kitabı ve destek kaydı varsa doğal anlam birimleri farklıdır; tek sayı bunların en az ikisine yanlış gelir. İkinci yaygın hata, gömme modelini yakınlık puanlarına bakarak seçmektir: puanın yüksek olması getirilen parçanın soruyu cevapladığını göstermez, yalnızca sorguya yakın durduğunu gösterir.