Vektör dizini tasarımı ve filtreli arama

Teori: neden yaklaşık arama#

Tam tarama basittir: sorgu vektörünü tüm kayıtlarla karşılaştırır ve en yakın k tanesini döner. Maliyeti kayıt sayısı ile boyutun çarpımına göre doğrusal büyür, buna karşılık sonuç tanım gereği kesindir. Gecikme hedefinizi tutuyorsa tam tarama yeterlidir ve kesin sonuç ile basit güncelleme avantajını size bırakır; ölçek büyüdükçe her sorgunun tüm dizini okuması bir noktada sürdürülemez hale gelir. O noktanın nerede olduğunu kayıt sayısına bakarak değil kendi donanımınızda ölçerek bulursunuz.

Bellek hesabı boyuttan çıkar. float32 bir sayı 4 bayt tutar; bu örnekte 768 boyutlu vektörler ve bir milyon parça varsayalım: ham vektörler yaklaşık 3 GB yer kaplar. Grafik tabanlı dizinler bunun üstüne komşuluk bağlantıları için ek yük bindirir. Nicemleme ise her boyutu daha az baytla saklayarak tabloyu küçültür; bedeli hızdan değil doğruluktan ödenir, çünkü mesafeler daha kaba temsillerden hesaplanır.

Yaklaşık arama, kesin komşuyu bulma garantisinden vazgeçerek hız kazanır. Her dizin ailesinde bu vazgeçişin miktarını ayarlayan bir arama genişliği parametresi vardır: genişlettikçe isabet artar, gecikme de artar. Bu yüzden dizin parametreleri bir kurulum ayrıntısı değil ürün kararıdır. Doğru sıra şudur: önce hedefi isabet cinsinden yazmak, sonra o hedefi tutan en düşük gecikmeyi aramak.

Dizin aileleri#

Filtreli arama: sıranın önemi#

Aramaya yalnızca yürürlükteki belgeler ya da yalnızca bu ekibin görebildiği kayıtlar gibi bir koşul eklemenin üç yolu var. Sonradan filtreleme önce ilk k komşuyu bulur, ardından koşula uymayanları atar; koşul seçiciyse elinizde birkaç sonuç, bazen hiç sonuç kalmaz. Filtre farkındalıklı arama koşulu dizin gezinmesinin içine taşır, böylece yalnızca uygun kayıtlar aday olur. Çok seçici koşullarda üçüncü yol daha makuldür: önce koşulu uygulayıp küçülen küme üzerinde tam tarama yapmak.

{
  "sorgu_vektoru": "<768 boyutlu birim vektör>",
  "ilk_k": 10,
  "arama_genisligi": 120,
  "filtre": {
    "erisim_grubu": { "$in": ["tum-calisanlar", "ik-ekibi"] },
    "yururluk_bitis": { "$gt": "<bugun>" },
    "gomme_surumu": "gomme-v3"
  },
  "not": "Filtre dizin gezinmesine verilir; sonuç kümesi döndükten sonra değil."
}

Karar akışı#

1. 1İsabet hedefini yaz

   Tam taramanın döndürdüğü komşu listesini referans alın ve bu listenin ne kadarını yakalamanız gerektiğini sayıyla belirleyin.

2. 2Bağlayıcı kısıtı belirle

   Parça sayısı, boyut, bellek bütçesi ve kabul edilebilir gecikmeyi yazın; dizin ailesini bunlardan en dar olanı seçer.

3. 3Parametreyi süpür

   Arama genişliğini kademeli artırıp her adımda isabet ve gecikmeyi kaydedin; isabetin doyduğu noktadan sonrası boş maliyettir.

4. 4Filtreyle birlikte doğrula

   En seçici filtrenizle aynı ölçümü yineleyin; filtresiz ölçüm üretimdeki davranışı temsil etmez.

5. 5Yazma yükünü sına

   Güncelleme ve silme trafiğini ölçüme dahil edin; bazı dizinlerde silinen kayıt yalnızca işaretlenir ve yeniden inşaya kadar aramayı etkiler.

Sık yapılan hata#

• Dizin parametrelerini varsayılanda bırakıp isabeti hiç ölçmemek: sistem çalışır görünür, kaçırılan komşular görünmez.
• Ölçümü filtresiz yapmak: üretimdeki her sorgu yetki ve tarih filtresiyle geliyorsa filtresiz gecikme yanıltıcıdır.
• Silinen kaydı yalnızca uygulama katmanında gizlemek: vektör dizinde kaldığı sürece komşuluk hesabını etkiler.
• Çok kiracılı ayrımı yalnızca filtreye bırakmak: ayrım gereksinimi katıysa ayrı dizin ya da ayrı ad alanı daha güvenlidir.
• Nicemlemeyi bellek için açıp ilk adayların yeniden puanlanmasını atlamak: sıkıştırılmış mesafeler üst sıraları karıştırır.