İstem Bütçesi Dağıtıcı

Hesap ne yapıyor?#

Araç, girdiğiniz bağlam penceresini beş paya böler: sistem istemi ve araç şemaları, örnekler, getirilen parçalar, konuşma geçmişi ve cevap için ayrılan çıktı payı. Payların toplamını pencereye oranlar, kalan bütçeyi veya aşımı verir ve beş pay içinde en büyüğünü işaretler. Amaç bir tahmin üretmek değil, bütçe tartışmasını tek bir bileşenin tartışmasına indirmektir: kısma her zaman en büyük paydan başlar, çünkü küçük paylarda yapılan iyileştirme toplamı kayda değer ölçüde değiştirmez.

Formül#

Bütün aritmetik sizin girdiğiniz sayılar üzerinde yapılır; araç hiçbir model değeri taşımaz. Örnek yükü tek bir alan olarak değil adet ile uzunluk çarpımı olarak alınır, çünkü az sayıda örnekle çalışmanın maliyeti bu çarpım ayrık tutulmadan görünmez.

• İstem toplamı = sistem istemi ve araç şemaları + (örnek sayısı × örnek başına uzunluk) + getirilen parçalar + konuşma geçmişi.
• Toplam talep = istem toplamı + ayrılan çıktı payı. Pencere istem ile cevabı ayrı tutmadığı için rezerv de talebe yazılır.
• Pencere doluluğu = toplam talep ÷ bağlam penceresi. Yüzde 100 üzeri, isteğin pencereye sığmadığı anlamına gelir.
• Kalan bütçe = bağlam penceresi − toplam talep. Negatifse aynı büyüklük aşım olarak gösterilir.
• Kararlı ön ekin payı = (sistem istemi + örnekler) ÷ toplam talep. İstekler arasında değişmeyen kısmın ağırlığıdır; getirme ve geçmiş her istekte yeniden yazılır. Örneklerin istem içindeki payı ise örnekler ÷ istem toplamıdır; bu oranda çıktı rezervi sayılmaz.
• Baskın pay = beş paydan en büyüğü; talepteki ağırlığı = baskın pay ÷ toplam talep. Aşımı yalnız oradan kapatmak için gereken kısma oranı = aşım ÷ baskın payın kendi büyüklüğü; bu oran yüzde 100 üzerine çıkarsa tek pay tek başına yetmez.

Varsayımlar#

• Bütün token değerleri kullanıcının kendi tahminidir. Araç hiçbir model penceresi, fiyatı, sürümü veya ölçüm değeri tutmaz.
• Arayüzde açılışta görünen sayılar yalnızca çalışır bir örnek düzendir; ölçüm değildir ve kendi kayıtlarınızla değiştirilmesi beklenir.
• Örnek yükü adet ile uzunluğun çarpımıdır; bu, örneklerin birbirine yakın uzunlukta olduğunu varsayar.
• Çıktı payı bir rezervdir. Talebe eklenir çünkü pencereden yer tutar, ancak modelin o payın tamamını kullanacağı varsayılmaz.
• Getirilen parçalar tek bir toplam olarak girilir; parça sınırındaki örtüşme ve tekrar bu toplamın içinde sayılmış kabul edilir.
• Durum eşikleri (yüzde 60, 85 ve 100) aracın kendi seçimidir; ölçülmüş bir kalite eşiği değildir.

Neyi ölçmez#

Araç yalnızca yer kaplamayı ölçer. Cevabın kalitesini, gecikmeyi, istek maliyetini ve getirme katmanının isabetini ölçmez; uzun pencerede ortadaki bilginin gözden kaçma eğilimini de hesaba katmaz. Dolayısıyla rahat görünen bir bütçe iyi bir istem anlamına gelmez: pencereye sığmak yeterlilik değil, ön koşuldur. Aynı şekilde taşma uyarısı bir modelin yetersizliğini değil, o istemdeki pay dağılımının pencereyle uyuşmadığını söyler. Aşım durumunda isteğin hata mı döneceği yoksa bağlamın mı kırpılacağı sağlayıcının ve kullanılan çerçevenin davranışına bağlıdır; araç bunu öngörmez, yalnızca aşımın büyüklüğünü verir.

Kararı nasıl kullanmalı#

1. 1Payları kendi kaydınızdan doldurun

   Sistem istemi, araç şemaları, örnekler ve getirilen parçalar için üretimde gerçekten gönderdiğiniz istemi sayın. Varsayılan değerlerle okunan sonuç kendi sisteminiz hakkında bir şey söylemez.

2. 2Doluluğu ve baskın payı birlikte okuyun

   Doluluk sınıra ne kadar kaldığını, baskın pay ise kısmaya nereden başlanacağını söyler. İkisinden yalnızca birine bakmak, yanlış bileşende iyileştirme yapmaya yol açar.

3. 3Kısmayı baskın paydan başlatın

   Aracın önerdiği hamleyi uygulayın; aşım tek paydan kapanmıyorsa araç bunu ayrıca söyler ve en az iki payın birlikte küçülmesi gerekir.

4. 4En kötü turu deneyin

   Konuşma geçmişi payına gördüğünüz en uzun oturumun değerini girip hesabı tekrarlayın. Bütçe kararı ortalama turda değil, en uzun turda sınanır.

Eşikler ve ilk hamle#