Gömme Depolama Hesaplayıcı

Hesap ne yapıyor?#

Araç, girdiğiniz parça sayısını, vektör boyutunu ve sayı tipini alıp dizinin üç bileşenini ayrı ayrı hesaplar: vektör verisi, HNSW grafı ve parça başına meta veri. Toplamı kopya sayısıyla çarparak bellekte tutulacak gerçek yükü verir, sonra aylık yenilenen içerik oranından yeniden dizinleme yükünü türetir. Amaç tek bir sayı üretmek değil, toplamın hangi bileşenden geldiğini göstermek: aynı büyüklüğe farklı kararlarla varılır ve her kararın karşılığı başka yerde ödenir.

Formül#

Hesap dört büyüklüğün toplamıdır ve hepsi doğrudan girdilerden türetilir; araç hiçbir sağlayıcının ölçülmüş rakamını kullanmaz. Bayt genişlikleri sayı tiplerinin tanımından, graf payı ise HNSW'nin veri yapısından gelir.

• Vektör başına gövde = vektör boyutu × sayı tipinin bayt genişliği; int8 seçildiğinde ölçekleme aralığı için vektör başına 8 bayt eklenir.
• Vektör verisi = parça sayısı × vektör başına gövde.
• HNSW grafı = (parça sayısı × 2M taban bağlantı + üst katman bağlantıları) × komşu başına 4 bayt; üst katman payı geometrik seviye dağılımından yaklaşık olarak türetilir.
• Meta veri = parça sayısı × parça başına meta veri baytı.
• Toplam = (vektör verisi + graf + meta veri) × kopya sayısı.
• Aylık yeniden dizinleme = yenilenme oranı × (yenilenen vektörlerin gövdesi + meta verisi + graf payı).

Varsayımlar#

• Komşu kimliği 32 bitlik tamsayı olarak saklanır, yani bağlantı başına 4 bayt.
• HNSW taban katmanında komşu sınırı 2M kabul edilir; üst katman payı geometrik seviye dağılımıyla yaklaştırılır.
• int8 nicelemede ölçekleme aralığı vektör başına iki float32 olarak saklanır.
• Dizin bellekte tutulur; disk tabanlı bir dizinin sayfa yapısı ve boş alan payı hesaba girmez.
• Uyarıyı tetikleyen 32 GB'lık tek düğüm eşiği kabul edilmiş bir çalışma varsayımıdır, ölçülmüş bir sınır değildir.
• Graf payının "kararı M üzerinden ver" uyarısını tetiklediği %35 oranı da ölçülmüş bir sınır değil, kabul edilmiş bir okuma eşiğidir.

Neyi ölçmez#

Araç yer hesabı yapar, kalite hesabı yapmaz. Nicelemenin geri çağırmayı ne kadar düşürdüğünü, M değerini küçültmenin arama doğruluğuna ne yaptığını, sorgu gecikmesinin nasıl değiştiğini ve yeniden dizinlemenin ne kadar süreceğini söylemez; bunların hiçbiri girdilerden türetilemez, yalnızca kendi verinizde ölçülür. Gömme çağrılarının ücreti de hesabın dışındadır: fiyat sağlayıcıya ve zamana bağlıdır, araca gömülmesi yanlış olur.

Kararı nasıl kullanmalı#

1. 1Tabanı float32 ile kur

   Önce hiçbir niceleme uygulanmamış hali hesaplayın. Bu, kalite tarafında hiçbir şey feda etmeyen üst sınırdır ve karşılaştırmanın tabanı olur.

2. 2Dağılıma bak, tek sayıya bakma

   Toplamın hangi bileşenden geldiğini görün. Graf payı yüksekse vektörü küçültmek yer kazandırmaz; M üzerinden karar vermek gerekir.

3. 3Tek kararı değiştirip tekrar oku

   Sayı tipini ya da M değerini tek başına değiştirip farkı okuyun. İki kararı birlikte değiştirmek, kazancın hangisinden geldiğini gizler.

4. 4Kazancı kalite ölçümüyle eşleştir

   Buradaki yer kazancını, kendi doğrulama kümenizde ölçtüğünüz geri çağırma kaybının yanına yazın. Karar bu iki sayının karşılaştırılmasıdır; tek başına yer kazancı karar vermeye yetmez.