Yeniden Sıralama Etkisi

Hesap ne yapıyor?#

Araç aynı aday havuzu üzerinde iki kurulumu karşılaştırır: yeniden sıralayıcı yokken havuzun tamamı modele verilir, varken yalnızca ilk k parça verilir. Girdiğiniz aday sayısı, nihai seçim ve parça uzunluğundan iki senaryonun token yükü çıkar; ardından aday başına sıralama süresi ile ön dolum hızı kullanılarak eklenen süre ve kazanılan süre karşılaştırılır. Sonuç tek bir sayıda toplanır: uçtan uca gecikmenin milisaniye cinsinden değişimi. Havuzun bağlam penceresine sığıp sığmadığı da aynı ekranda görünür.

Formül#

Bütün büyüklükler formdaki altı girdiden türetilir; bileşende gömülü fiyat, benchmark skoru veya model ölçümü yoktur. Adet alanları tam sayıya yuvarlanır, nihai seçim havuzdan büyük girilirse havuz boyutuna kırpılır ve hız alanı sıfıra düşürülemez; böylece boş ya da geçersiz girdi sonuca sızmaz.

1. 01Sıralama yok tabanı: aday havuzu × parça uzunluğu kadar token modele gider.
2. 02Sıralama var: nihai seçim × parça uzunluğu; seçim havuzdan büyükse havuz boyutuna kırpılır.
3. 03Düşen yük: iki bağlam değerinin farkı; yüzdesi havuz toplamına bölünerek bulunur.
4. 04Sıralamanın eklediği süre: aday sayısı × aday başına sıralama süresi.
5. 05Ön dolumdan kazanılan süre: düşen token sayısı / ön dolum hızı (saniyeden milisaniyeye).
6. 06Uçtan uca değişim: eklenen süre eksi kazanılan süre; negatif değer net kazançtır. Bu farkı sıfırlayan iki eşik ayrıca gösterilir: parça uzunluğunun alt eşiği ve aynı havuz için top-k üst eşiği.

Varsayımlar#

• Karşılaştırma tabanı, yeniden sıralayıcı yokken havuzun tamamının modele verilmesidir. Havuzu vektör skoruna göre körlemesine kırpan bir kurulumla karşılaştırıldığında tasarruf bundan küçük çıkar.
• Parçalar eşit uzunlukta kabul edilir; girilen parça uzunluğu havuzun ortalamasıdır.
• Sıralama süresi aday sayısıyla doğrusal artar. Toplu puanlama ve paralellik hesaba girmediği için toplu çalışan bir yeniden sıralayıcıda gerçek süre daha kısa olur.
• Ön dolum süresi token sayısıyla doğrusaldır; istem ön eki önbelleğe alınıyorsa kazanç bu hesaptan küçüktür.
• Vektör aramasının kendi süresi iki senaryoda da aynı olduğu için hesaba katılmaz.
• Süre hesabı, karşılaştırılan iki kurulumun da bağlam penceresine sığdığını varsayar. Sığmıyorsa araç uyarır: havuzun tamamını verme tabanı o pencerede uygulanamayacağı için kazanç bir iyileştirme değil, sığdırmanın koşuludur.

Neyi ölçmez#

Bu bir bütçe hesabıdır, kalite hesabı değil. Yeniden sıralamanın asıl gerekçesi doğru parçayı ilk k içine taşımasıdır; araç geri çağırmayı, isabeti veya cevap doğruluğunu ölçmez. Sıralayıcının hesaplama maliyeti (GPU kirası, çağrı ücreti), havuz küçüldükçe artan kaçırma riski ve seçilen parçaların birbirini tekrar etmesi de kapsam dışındadır. Token ve süre kazancı, kalite kaybını tek başına gerekçelendirmez.

Kararı nasıl kullanmalı#

1. 1Tabanı çıkar

   Mevcut hattınızda vektör aramasının döndürdüğü aday sayısını ve parça başına ortalama token sayısını ölçün; hesap bu iki sayı üzerine kurulur.

2. 2İki süreyi kendin ölç

   Aday başına sıralama süresini ve modelin ön dolum hızını kendi kurulumunuzda ölçün. Bu iki değer olmadan çıkan sonuç yalnızca form doldurmaktır.

3. 3Eşiği oku

   Uçtan uca değişim pozitifse aracın verdiği kazançlı top-k değerine inin ya da aday başına sıralama süresini düşürün; negatifse gösterilen üst eşiğe kadar seçimi genişletmek süre tarafında zarar etmez.

4. 4Kalite tarafını ayrı sına

   Seçtiğiniz top-k ile doğru parçanın kaçırılıp kaçırılmadığını kendi değerlendirme kümenizde ölçün ve bütçe kazancıyla birlikte karara bağlayın.