Ajan Adım Maliyeti

Hesap ne yapıyor?#

Araç, bir ajan döngüsünün tek turunu değil tamamını fiyatlandırır. Adım sayısını, her adımda konuşmaya eklenen hacmi ve kendi girdi ile çıktı fiyatlarınızı verdiğinizde döngünün toplam token yükünü, bunun ne kadarının biriken geçmişten geldiğini ve bağlam penceresinin kaçıncı adımda dolduğunu gösterir. Amaç faturayı kuruşu kuruşuna kestirmek değil, adım sınırının bir mühendislik tercihi değil maliyet kararı olduğunu görünür kılmaktır.

Formül#

Model her adımda konuşmanın tamamını yeniden okur. Bu yüzden n. adımın girdisi, başlangıç bağlamı artı kendinden önceki adımların biriktirdiği hacimdir; adımlar boyunca bu değer bir aritmetik dizi oluşturur. Dizinin toplamında adım sayısıyla doğrusal büyüyen bir terim ile adım sayısının karesiyle büyüyen bir terim yan yana durur. Kısa döngülerde birinci terim, uzayan döngülerde ikinci terim faturayı belirler.

1. 01Adım artışı = araç sonucu + model çıktısı; bir adımın konuşmaya kalıcı olarak eklediği hacimdir.
2. 02n. adımın bağlamı = başlangıç bağlamı + (n − 1) × adım artışı.
3. 03Toplam girdi = N × başlangıç bağlamı + adım artışı × N × (N − 1) / 2; sağdaki terim karesel büyüyen kısımdır.
4. 04Toplam çıktı = N × model çıktısı; bu terim adım sayısıyla doğrusal kalır.
5. 05Maliyet = (toplam girdi / 1M) × girdi fiyatı + (toplam çıktı / 1M) × çıktı fiyatı.
6. 06Pencereye sığan son adım = (pencere − başlangıç bağlamı) / adım artışı değerinin aşağı yuvarlanıp bir eklenmesi; adım artışı sıfırsa bağlam büyümez ve dolacağı bir adım yoktur.

Varsayımlar#

• Model her adımda geçmişin tamamını yeniden okur; istem önbelleği devre dışı varsayılır.
• Araç sonucu ve model çıktısı her adımda aynı büyüklüktedir; gerçek döngülerde adımlar birbirine benzemez.
• Döngü dallanmasız tek bir zincir olarak ilerler; paralel araç çağrısı ve alt ajan yoktur.
• Hiçbir adım başarısız olup yeniden denenmez; her adım bir kez faturalanır.
• Fiyat, pencere ve token büyüklüklerinin tamamı kullanıcı girdisidir. Alanlar boş açılmasın diye konmuş başlangıç sayıları yer tutucudur: bir sağlayıcının fiyat listesi ya da bir modelin penceresi değildir ve kendi değerlerinizle değiştirilmeden çıkan sonuç bir şey göstermez.
• Girdi ve çıktı fiyatı aynı para biriminde girilmiş varsayılır; araç para birimi dönüşümü yapmaz, sonuç girdiğiniz birimde çıkar.

Neyi ölçmez#

Araç yalnızca token faturasına bakar. Gecikmeyi, araçların kendi maliyetini (arama, veri tabanı, kod çalıştırma), adım sayısı arttıkça doğruluğun ne yönde değiştiğini ve döngünün görevi gerçekten bitirip bitirmediğini ölçmez. Bağlam penceresi dolmadan başlayan davranış bozulmasını da göstermez: bağlama sığmak ile o bağlamı iyi kullanmak farklı şeylerdir. Önbellek, özetleme ve geçmiş sıkıştırma modellenmediği için bu teknikler devredeyse çıkan sayı bir üst sınır olarak okunmalıdır.

Kararı nasıl kullanmalı#

1. 1Kötü durumu girin

   Ortalama araç sonucu yerine üst dilimi ve hedeflediğiniz en uzun döngüyü verin. Adım sınırı ortalama tur için değil en pahalı tur için konur.

2. 2Birikimin payına bakın

   Girdi faturasının ne kadarı tekrar okunan başlangıç bağlamı, ne kadarı biriken geçmiş? Başlangıç payı büyükse sistem istemini ve araç tanımlarını kısaltmak; geçmiş payı büyükse adım sınırını düşürmek işe yarar.

3. 3Sınırı pencerenin altına çekin

   Pencereye sığan son adımı okuyun ve döngü sınırını onun altına ayarlayın. Taşma sonrası davranış tahmin edilemez; sınırı kodda sabitlemek, çalışma zamanında kesmeye güvenmekten emniyetlidir.

4. 4İki katı senaryosunu karşılaştırın

   Adım sınırını iki katına çıkarmanın faturayı kaça katladığını görün. Oran ikiye yakınsa faturayı hâlâ başlangıç bağlamı belirliyor; dörde yaklaştıkça biriken geçmiş baskın demektir ve özetleme ile geçmiş sıkıştırma tartışılmaya değer hâle gelir. Bu bir eşik ölçümü değil, oranın kendi sayılarınızla okunmasıdır.