Vektör dizini seçmek ve boyutlandırmak

Yaklaşık arama bir ödünleşmedir: doğruluktan feragat ederek gecikme ve bellek kazanırsınız. Hedef yazılmadığında ödünleşmenin hangi tarafında durduğunuzu bilemezsiniz ve karşılaştırma bir tercih tartışmasına döner. Gecikme hedefi tahmin edilmez, uçtan uca cevap bütçesinden geri sayılarak çıkarılır: arama, yeniden sıralama ve üretim adımlarının toplamı kullanıcıya verdiğiniz sözü aşmamalı.

Tam tarama her sorgu vektörünü koleksiyondaki her vektörle karşılaştırır; sonuç tanım gereği doğrudur. Bu iki işe yarar. Birincisi, referans kümeniz olur: yaklaşık dizinin Recall değeri ancak bu sonuca göre hesaplanabilir, mutlak bir isabet oranı diye bir şey yoktur. İkincisi, koleksiyon küçükse ya da sorgu hacmi düşükse tam tarama bütçeyi karşılayabilir ve kurulmayan bir yaklaşık dizin, ayarlanması gerekmeyen bir dizindir.

1. 01Gerçek sorgu kayıtlarından temsilî bir küme örnekleyin; sentetik sorgular filtre ve uzunluk dağılımını taklit edemez.
2. 02Her sorgu için tam taramayla ilk k komşuyu hesaplayın ve sonucu dondurun.
3. 03Referans kümeyi gömme modeli sürümüyle birlikte saklayın; model değişirse referans da geçersizdir.
4. 04Aynı kümeyi her ayar denemesinde kullanın; küme değişirse karşılaştırma değil, yeni bir ölçüm yapmış olursunuz.

Taban çizgisini kurarken tam taramanın kendi p95 gecikmesini de ölçün. Eşiğin altındaysa karar verilmiştir ve rehberin geri kalanı sizin için erken bir iyileştirmedir. Hangi koleksiyon boyutunda bunun olacağını genel bir kuralla söylemek mümkün değil; vektör boyutuna, donanıma ve eşzamanlılığa bağlıdır, bu yüzden tahmin etmek yerine ölçün.

Üç karar birbirine bağlıdır, bu yüzden ayrı ayrı verilmez. Metrik model tarafından belirlenir: kosinüsle eğitilmiş bir modelde vektörler birim uzunluğa normalize edilmemişse Öklid uzaklığı da iç çarpım da farklı bir sıralama üretir, çünkü ikisi de vektör boyunu sıralamaya karıştırır. Normalize ettiğinizde üçü aynı sıralamayı verir; birim vektörlerde Öklid uzaklığının karesi kosinüsün azalan bir dönüşümüdür. Yani normalizasyon depolamayı değil yalnızca hesabı sadeleştirir. Boyut ise modelin kendi çıktısıdır: kısaltılabilir boyut için özel olarak eğitilmiş modeller dışında, vektörün sonunu kesmek geometriyi bozar.

Ham vektör baytı basit bir çarpımdır: vektör sayısı çarpı boyut çarpı sayı tipi baytı. Kurulumların şaşırdığı yer bu değil, üstüne binenler. Graf tabanlı bir dizinde her düğüm komşu kimliklerini saklar; bölütleme tabanlı bir dizinde küme merkezleri ve ters listeler yer kaplar. Buna kimlik eşlemesi, filtrelenebilir üst veri ve kopyalar eklenir. İnşa sırasında geçici bir tepe de oluşur: eski ve yeni dizin bir süre yan yana durur.

# VARSAYIM: 1.000.000 vektör, 768 boyut, float32, graf derecesi M = 16.
# Gerçek sayılar kendi koleksiyonunuzdan gelir; bu satırlar yalnızca hesabın biçimini gösterir.
sayi, boyut, tip_bayt, m = 1_000_000, 768, 4, 16

ham_vektor = sayi * boyut * tip_bayt   # vektörlerin kendisi
graf = sayi * (2 * m) * 4              # taban katman komşuları, komşu başına 4 baytlık kimlik

print((ham_vektor + graf) / 1024 ** 3, 'GiB')

Bölütleme tabanlı dizinler bir eğitim adımı ister: temsilî bir örneklem üzerinde küme merkezleri çıkarılır ve vektörler bu merkezlere göre dağıtılır. Eğitimden sonra koleksiyonun içeriği belirgin biçimde değişirse — yeni bir alan, yeni bir dil, yeni bir belge türü eklendiğinde — kümeler dengesini kaybeder ve aynı taranan küme sayısıyla isabet düşer. Bu, periyodik yeniden eğitim gerektiren bir bakım kalemidir ve plana yazılmalıdır.

Pratikte seçenekler saf hâlleriyle değil melez olarak karşınıza çıkar: graf dizininin nicemlenmiş sürümü, bölütleme artı çarpım nicemlemesi, diske taşan varyantlar. Karşılaştırmayı ürün adları üzerinden değil bu iki eksen üzerinden yapın; aynı motorun iki yapılandırması arasındaki fark, iki farklı motor arasındaki farktan büyük olabilir.

Parametreleri tek bir liste olarak görmek, ayar turlarının çoğunun neden yeniden dizinlemeyle bittiğini açıklar. Oysa iki küme var: biri sorgu sırasında okunur ve dağıtım gerektirmeden değiştirilebilir, diğeri dizinin yapısını belirler ve değiştiğinde yapı geçersizdir. Ayarlamaya her zaman birinci kümeden başlanır; ikinciye ancak birinci küme hedefi tutturamıyorsa dokunulur.

Ayar yöntemi tek bir döngüdür: referans kümeyi sabitleyin, yalnızca sorgu zamanı parametresini süpürün, her değer için isabet ile p95 gecikmeyi birlikte kaydedin ve eğrinin dirseğini seçin. Dirsek hedefin altındaysa derleme parametrelerine geçin. Tek bir sayı raporlamayın: isabet olmadan gecikme, gecikme olmadan isabet bir sonuç değildir.

Filtreyi aramadan sonra uygulamak iki sorun üretir. Birincisi sonuç sayısı erir: ilk k aday zaten getirilmiştir ve filtre bunların çoğunu eledikten sonra geriye k'dan az belge kalır. İkincisi, filtre çok seçiciyse graf gezinmesi filtreye uyan bölgeye hiç uğramadan sonlanabilir; sonuç boş döner ama sistem hata vermez. Filtre, aramanın sonrası değil parçası olmalıdır.

Doğrulama adımı: sorguları filtre seçiciliğine göre kovalara ayırın ve her kova için ayrı isabet, p95 gecikme ve eksik sonuç oranı raporlayın. Ortalamaya bakan bir panoda dar filtre kovasının çöküşü görünmez, çünkü trafiğin küçük bir kısmıdır — ama genellikle en değerli sorgular oradadır.

Yeniden dizinlemeyi zorunlu kılan değişiklikler bellidir ve hepsi de seçim anında verilmiş kararlardır: gömme modelinin değişmesi, boyutun değişmesi, uzaklık metriğinin değişmesi, derleme zamanı parametrelerinin değişmesi ve büyük ölçekli silmeler. Bu listeyi baştan yazmak, model seçiminin gerçek maliyetini görünür kılar: taşınma maliyeti, ilk kurulum maliyetinden yüksektir.

1. 1Yeni dizini yanda üret

   Canlı dizine dokunmadan, aynı kaynaktan ikinci bir dizin inşa edin ve inşa süresini kaydedin; bu süre bakım penceresinin kendisidir.

2. 2Referans kümeyle karşılaştır

   Dondurulmuş sorgu kümesini iki dizinde de koşturun; isabet ve p95 gecikmeyi yan yana raporlayın.

3. 3Takma adı çevir

   Uygulama dizine adıyla değil takma adla bağlanmalı; geçiş tek bir takma ad güncellemesiyle yapılır ve geri alınabilir.

4. 4Eski dizini bir süre tut

   Geri dönüş yolu kapanmadan eski dizini silmeyin; silme kararı, yeni dizinin canlı trafikte bir bakım döngüsü tamamlamasından sonra verilir.

Silme davranışını da bu planın parçası yapın. Çoğu dizinde silinen vektör hemen kaldırılmaz, işaretlenir: arama sonuçlarından çıkar ama belleği ve graf bağlantılarını işgal etmeye devam eder. Sıkıştırma ya da yeniden inşa çalışana kadar bellek geri gelmez; yüksek devirli koleksiyonlarda bu, planlanmadığında sürpriz bir büyüme olarak görünür.