Hibrit aramada birleştirme, filtre ve yeniden sıralama

Teori: iki körlük, iki maliyet#

Sözcük tabanlı arama terimi görür, anlamı görmez: belgede geçen kodu, madde numarasını, ürün adını birebir bulur ama kullanıcı kendi kelimeleriyle sorduğunda boş döner. Anlamsal arama anlamı görür, terimi gözden kaçırır: iki metin anlamca neredeyse aynı olduğunda aralarındaki kod farkını ayırt etmeyebilir. Gerçek bir dizinde her iki sorgu tipi de bulunduğu için tek yöntem seçmek, sorguların bir bölümünü peşinen kaybetmek demektir.

Maliyet tarafında da ayrışırlar. Gömme tabanlı arama parçaların vektörünü önceden hesaplar; sorgu anında yalnızca sorgu vektörlenir ve yakınlık aranır, bu yüzden aday sayısını büyütmek görece ucuzdur. Yeniden sıralayıcı ise sorgu ile parçayı aynı anda okur ve her aday için ayrı bir geçiş gerektirir, dolayısıyla maliyeti aday sayısıyla birlikte büyür. Hattın klasik şekli bu asimetriden doğar: geniş getir, dar sırala.

Hangi sorgu hangi yöntemle bulunur#

Birleştirme: puan değil sıra#

İki yöntemin ürettiği puanlar aynı ölçekte değildir: yakınlık puanı dar bir aralıkta gezerken sözcük puanı belge uzunluğuna ve terim seyrekliğine göre serbestçe büyür. Puanları doğrudan toplamak, ölçeği geniş olan yöntemi sessizce baskın hale getirir ve ağırlık ayarını anlamsız kılar. Yaygın çözüm yalnızca sıraları kullanmaktır: her belge, göründüğü listelerdeki sırasının tersinden bir katkı toplar, böylece hiçbir listede birinci olmayan ama ikisinde de üstlerde duran belge yukarı çıkar.

Filtre aramanın neresinde#

Yetki, dil, sürüm ve tarih filtreleri aramanın parçası olmalı, arama sonrası bir ayıklama adımı değil. Sonradan filtrelemede dizin en yakın adayları filtreden habersiz seçer; adayların çoğu elendiğinde geriye çok az sonuç kalır, kimi sorguda hiç kalmaz. Arama filtreyi bildiğinde ise adaylar zaten izin verilen küme içinden seçilir. Yetkide bu ayrım sadece kaliteyle ilgili de değildir: eleme adımındaki tek bir hata, kullanıcının görmemesi gereken metni bağlama taşır.

Yeniden sıralama ne zaman değer katar#

1. 1Önce tavanı ölçün

   Aday kümesini genişletip doğru parçanın adaylar arasına girme oranına bakın. Bu oran düşükse yeniden sıralayıcı işe yaramaz; olmayan parçayı yukarı taşıyamaz, önce getirme tarafı düzeltilir.

2. 2Aday derinliğini seçin

   Yeniden sıralayıcıya verilecek aday sayısı, tavana ulaşan en küçük sayı olmalı. Derinliği artırmak isabeti bir noktadan sonra artırmazken gecikmeyi büyütmeye devam eder.

3. 3Gecikme bütçesini bölün

   Kullanıcının kabul ettiği toplam süreden üretim adımının payını düşün; kalan süre getirme ve yeniden sıralamaya aittir. Katman bu payı aşıyorsa ya derinlik düşürülür ya da katman yalnızca belirli sorgu tiplerinde çalıştırılır.

4. 4Ölçüp karşılaştırın

   Aynı soru setini katmanlı ve katmansız koşturup ilk sıralardaki ilgili parça sayısını ayrı ayrı raporlayın. Fark ölçülebilir değilse katman gecikmeyi karşılıksız artırıyordur.

Sık yapılan hata#

Sahada en sık görülen yanılgı, yeniden sıralayıcıyı getirme sorununun çaresi saymaktır. Yeniden sıralayıcı yalnızca kendisine verilen adayların sırasını değiştirir; doğru parça aday kümesinde yoksa yapabileceği hiçbir şey yoktur ve eklenen gecikme tamamen boşa gider. İkinci yanılgı, iki arama yönteminin ağırlığını bir kez ayarlayıp sabitlemektir: sorgu dağılımı değiştikçe doğru ağırlık da değişir, bu yüzden ağırlık ölçümle birlikte yaşayan bir karardır.