Kurumsal veride hibrit arama bir optimizasyon değil zorunluluktur

Tez#

Gömme tabanlı arama, bilgi getiriminde gerçek bir kırılma yarattı: artık bir belgenin sorguyla aynı kelimeleri içermesi gerekmiyor, anlamca yakın olması yetiyor. Bu kazanç o kadar belirgin ki, sözcüksel aramanın artık gereksiz olduğu izlenimi doğdu. Yeni kurulan RAG hatlarının büyük bölümü yalnızca vektör aramasıyla başlıyor ve sözcüksel katman hiç eklenmiyor.

Bu tercih, kurumsal veride sistematik bir kayıp üretiyor. Nedeni gömme temsilinin doğasında: gömme, anlamı sürekli bir uzayda temsil eder ve o uzayda "yakın" olmak "aynı" olmak demek değildir. Bir seri numarası sorgusunda gömme, karakterlerin birbirine benzediği başka bir seri numarasını yakın bulabilir. Bir madde numarası sorgusunda benzer numaralı başka bir maddeyi getirebilir. Bu, modelin hatası değil temsilin özelliği — gömme uzayı karakter düzeyindeki ayrımları anlamsal ayrım olarak kodlamaz.

Bağlam: sorgu sınıfları ve kapsama#

Tartışmayı netleştirmenin yolu sorguları sınıflara ayırmak. Aşağıdaki tablo beş sorgu sınıfını ve iki yöntemin her birindeki davranışını gösteriyor.

Tablonun pratik sonucu şu: yalnızca anlamsal arama kuran bir sistem, ikinci, üçüncü ve dördüncü sınıflarda sistematik olarak kaybediyor. Ve bu sınıflar kurumsal sorgu hacminin küçümsenemeyecek bir bölümünü oluşturuyor — bir destek ekibinin sorgularının önemli kısmı bilet numarası, ürün kodu ya da müşteri adı içeriyor. Kayıp görünmez çünkü sistem her zaman bir sonuç döndürüyor; yanlış sonuç, sonuç yokluğundan daha zor tespit edilir.

Kanıt: kaybın ölçülmesi#

Bu kaybın varlığı tartışmaya açık değil ama büyüklüğü her derleme özgü. Ölçmek için sorguları sınıflandırıp her sınıfta ayrı isabet ölçmek gerekiyor — birleşik bir ortalama, kayıp olan sınıfı diğerlerinin içinde gizler.

• Sorguları sınıflandırın: üretim günlüklerinden örnek alıp beş sınıfa dağıtın. Dağılım genellikle beklenenden farklı çıkar.
• Her sınıfta ayrı isabet ölçün: birleşik ortalama, tanımlayıcı sorgularındaki çöküşü kavramsal sorguların başarısıyla maskeler.
• Sıfır sonuçlu değil yanlış sonuçlu sorguları arayın: anlamsal arama her zaman bir şey döndürür; asıl sorun boş sonuç değil yanlış sonuçtur.
• Birleştirme ağırlığını veriyle belirleyin: iki skorun nasıl birleştirileceği sezgiyle değil, sınıf bazlı isabet ölçümüyle ayarlanır.

Üçüncü madde teşhiste en çok yardımcı olan. Sözcüksel bir sistemde bulunamayan sorgu boş sonuç döner ve hemen fark edilir. Anlamsal sistemde aynı sorgu "en yakın" sonucu döndürür ve kullanıcı onu doğru sanar. Bu yüzden anlamsal arama kaynaklı kayıplar, sözcüksel arama kaynaklı kayıplardan daha uzun süre fark edilmeden kalıyor.

Mekanizma: Türkçede sözcüksel tarafın kırılganlığı#

Hibrit aramanın Türkçedeki uygulaması ek bir adım gerektiriyor. Sözcüksel arama kelime eşleşmesine dayanır; Türkçe eklemeli bir dil olduğu için aynı kök onlarca yüzey biçiminde geçer — "sözleşme", "sözleşmenin", "sözleşmeyi", "sözleşmelerde". Normalizasyon yapılmayan bir sözcüksel dizin, sorgudaki biçimle belgedeki biçim eşleşmediğinde kaçırır.

Bu, hibrit aramanın Türkçede işe yaramadığı anlamına gelmiyor; sözcüksel katmanın Türkçe için ayrıca hazırlanması gerektiği anlamına geliyor. Gövdeleme veya kök bulma, eş anlamlı sözlüğü ve büyük–küçük harf dönüşümünde Türkçeye özgü kuralların uygulanması gerekiyor. Son madde sık atlanıyor ve sessiz hatalar üretiyor: noktalı ve noktasız i harflerinin büyük–küçük karşılıkları farklı olduğu için yerel ayara bırakılan bir dönüşüm, aynı kelimeyi iki farklı anahtara indirebilir.

Karşı görüş#

İki itiraz var. Birincisi karmaşıklık: hibrit arama iki motor, iki dizin ve bir birleştirme katmanı demek. İşletme yükü iki katına çıkıyor ve birleştirme ağırlığı yeni bir ayar parametresi olarak ekliyor. İkincisi: yeniden sıralama, hibrit aramanın büyük bölümünü gereksiz kılabilir — geniş bir anlamsal aday kümesi getirip güçlü bir sıralayıcıyla süzmek yeterli olabilir.

Hibriti kurmak yerine aday sayısını yüze çıkarıp yeniden sıralama ekledik. Kavramsal sorgular düzeldi. Ama bilet numarası sorgularında hiçbir şey değişmedi: doğru kayıt yüz aday arasında da yoktu.

Alıntı ikinci itirazın sınırını tam olarak gösteriyor: yeniden sıralama, getirilen adaylar arasında sıralama yapar. Doğru kayıt aday kümesinde hiç yoksa sıralayıcı onu bulamaz. Anlamsal arama tam tanımlayıcı sorgularında doğru kaydı aday kümesine hiç almıyorsa, aday sayısını artırmak bu sorunu çözmez — yalnızca daha çok yanlış adayı sıralar. Birinci itiraz ise haklı ama yanlış karşılaştırma yapıyor: hibrit aramanın işletme maliyeti iki motor, kaybın maliyeti ise bulunamayan kayıtlar. İkisi karşılaştırıldığında karar genellikle açık, ama karşılaştırmayı yapmak için kaybın ölçülmüş olması gerekiyor.

Sınırlar ve belirsizlik#

Tez "kurumsal veri" diyor ve bu niteleme önemli: her derlemde geçerli değil.

• Derlem türü belirleyici: tanımlayıcı, kod ve özel ad içermeyen homojen metin derlemlerinde yalnızca anlamsal arama yeterli olabilir.
• Sınıf dağılımı ölçülmeli: tanımlayıcı sorgularının payı düşükse hibrit aramanın getirisi de düşük olur.
• Birleştirme yöntemi standart değil: skorların nasıl birleştirileceği konusunda tek bir doğru yaklaşım yok; her derlemde ayarlanıyor.
• Türkçe normalizasyon kalitesi ölçülmemiş: gövdeleme ve kök bulma araçlarının Türkçedeki isabetine dair karşılaştırmalı yayımlanmış veri sınırlı.

Sonuç#

Hibrit arama bir performans ayarı değil, bir kapsama kararı. İki yöntem farklı sorgu sınıflarını kapsıyor ve birini seçmek, diğerinin kapsadığı sınıfı tümden kaybetmek demek. Kurumsal veride bu kayıp soyut değil: bilet numarası, ürün kodu, madde numarası ve özel ad sorguları günlük hacmin gerçek bir bölümü.

Kararın doğru biçimi şu: sorguları sınıflandırın, her sınıfta ayrı isabet ölçün ve kayıp olan sınıfın hacmini görün. Kayıp küçükse hibrit aramanın işletme yükünü taşımaya değmez; büyükse tartışma kapanır. Bu ölçüm yapılmadan verilen "yalnızca vektör yeterli" kararı bir mühendislik kararı değil, bir varsayımdır.

Ne yapmalı?#

1. 1Sorgu sınıf dağılımını çıkarın

   Üretim günlüklerinden örnek alıp beş sınıfa dağıtın. Tanımlayıcı sorgularının payı kararı belirler.

2. 2Sınıf bazlı isabet ölçün

   Birleşik ortalama kullanmayın; kayıp olan sınıf diğerlerinin başarısı içinde gizlenir.

3. 3Yanlış sonuçlu sorguları arayın

   Anlamsal arama her zaman bir şey döndürür. Boş sonuç değil yanlış sonuç aranmalı.

4. 4Türkçe normalizasyonu sözcüksel katmana ekleyin

   Gövdeleme, eş anlamlı sözlüğü ve Türkçeye özgü büyük–küçük harf dönüşümü olmadan sözcüksel katman kayba uğrar.

5. 5Birleştirme ağırlığını ölçümle ayarlayın

   İki skorun ağırlığı sezgiyle değil sınıf bazlı isabetle belirlenir ve derleme özgüdür.

6. 6Yeniden sıralamayı hibritin yerine koymayın

   Sıralayıcı yalnızca getirilen adaylar arasında çalışır; aday kümesinde olmayan kaydı bulamaz.