Bağlam bütçesi dağıtmak ve taşmayı önlemek

Pencereyi tek bir metin olarak düşünmek, taşmayı da tek bir arıza olarak görmeye yol açıyor. Oysa içeride birbirinden çok farklı davranan bölümler var: bazıları her istekte aynı, bazıları isteğe göre değişiyor, bazıları zamanla büyüyor. Bütçe bu davranış farkına göre kurulur — hepsine aynı kuralı uygulayan bir kesme mantığı en değerli bölümü ilk elden atabilir.

Girdi ve çıktı aynı pencereyi paylaşır. Girdi büyüdükçe yanıta kalan yer daralır ve bu daralma çoğu zaman bir hata olarak değil, yarıda kesilmiş bir cevap olarak görünür — yani en zor fark edilen biçimde. Bu yüzden çıktı payı en başta ayrılır.

• Payı ölçerek belirleyin: mevcut yanıtlarınızın uzunluk dağılımına bakın ve en uzunlarını barındıracak bir pay seçin.
• Akıl yürütme adımlarını çıktı olarak üreten modellerde bu adımlar da çıktı payından düşer; kullanıcıya gösterilmeyen metin de token harcar.
• Yapılandırılmış çıktıda payı cömert tutun: yarım kalan bir belge ayrıştırılamaz, yarım kalan bir paragraf okunabilir.
• Çıktı üst sınırını istem yapılandırmasına yazın; her çağrı noktasında elle verilen değerler zamanla birbirinden ayrışır.

Türkçe sondan eklemeli bir dil: tek bir kelime çoğu tokenleştiricide birden fazla parçaya bölünür ve bu bölünme İngilizce metinden farklı davranır. "Kelime sayısını şu katsayıyla çarp" türü kestirmeler ortalamada idare eder, bütçenin kenarında çalışırken sizi yanlış tarafta bırakır. Ölçüm, kullandığınız modelin tokenleştiricisiyle yapılır.

• Şablonun kendi metni: rol etiketleri, ayraçlar, bölüm başlıkları.
• JSON alan adları ve şema açıklamaları — yapılandırılmış çıktı istedikçe büyürler.
• Araç tanımları: her aracın adı, açıklaması ve parametre şeması her istekte gönderilir.
• Getirilen parçaların üst verisi: kaynak adı, tarih, bağlantı. Parça metninin yanında azımsanacak bir yer tutmazlar.

def butce_raporu(bolumler: dict[str, str], tokenlestirici) -> dict[str, int]:
    """Bölüm başına token sayısı — bütçe kararları bu tabloya bakar."""
    return {ad: len(tokenlestirici.encode(metin)) for ad, metin in bolumler.items()}

Doğrulama adımı: üretimden alınmış birkaç yüz isteği bu raporla ölçün ve bölüm başına dağılıma bakın. Ekipler burada çoğu zaman ilk kez, pencerenin hatırı sayılır bir kısmını aylardır hiç sorgulamadıkları sabit bir bölümün yediğini görüyor.

Sabit bölüm bütçenin sessizce büyüyen kısmı: her olaydan sonra bir cümle ekleniyor, hiçbir zaman bir cümle çıkarılmıyor. Oysa sabit bölüm her istekte yeniden ödenen bir maliyettir ve büyüdükçe değişken bölümün — yani asıl kanıtın — yerini alır.

• Birbirinin varyasyonu olan örnekler: aynı davranışı öğreten ikinci örnek nadiren kazanç sağlar.
• Artık geçerli olmayan kurallar: kaldırılmış bir özelliğe ya da kapanmış bir vakaya ait talimatlar.
• Uzun rol ve nezaket metinleri: davranışı belirlemiyorsa yalnızca yer kaplıyorlar.
• Örnek çıktının tamamı yerine çıktı şeması: biçim, şemayla çok daha kısa anlatılır.

Budama kör yapılmaz: bir örneği çıkarın, regresyon kümesinde koşturun, fark yoksa çıkarılmış kalsın. İstem sürümleme takımı kurulmuşsa bu birkaç dakikalık bir iştir; kurulmamışsa budama riskli göründüğü için hiç yapılmaz ve sabit bölüm her yıl biraz daha büyür.

Sabit bir parça sayısı — ilk beş, ilk on — iki yönde birden yanlış: kısa parçalarla pencere boş kalır, uzun parçalarla taşar. Doğru birim token. Adaylar puan sırasına dizilir ve pay dolana kadar eklenir; sığmayan bir parça atlanır, arkasındaki daha kısa aday hâlâ girebilir.

def parcalari_sec(adaylar, pay: int, esik: float, tokenlestirici):
    """Puan sırasına göre doldur; eşiğin altını hiç ekleme."""
    secilen, kullanilan = [], 0
    for parca in sorted(adaylar, key=lambda x: x.puan, reverse=True):
        if parca.puan < esik:
            break
        uzunluk = len(tokenlestirici.encode(parca.metin))
        if kullanilan + uzunluk > pay:
            continue  # sığmadı; daha kısa bir aday hâlâ girebilir
        secilen.append(parca)
        kullanilan += uzunluk
    return secilen

• Puan eşiği koyun: boş yer kaldı diye ilgisiz parça eklemek ilgili kanıtı seyreltir.
• Tekrarı ayıklayın: aynı metnin iki sürümü iki kat yer kaplar, tek kat bilgi verir.
• Parçanın üst verisini kısaltın ama kaynağını koruyun; kaynak gösterimi çıktının doğrulanabilirliğini taşır.
• Pay dolmadan adaylar bittiyse bunu bir sinyal sayın: sorun bütçede değil dizinde ya da sorguda.

Baştan kesme en ucuz çözüm gibi görünür ama en pahalı bilgiyi atar: kullanıcının ilk turlarda verdiği kısıtları. "Türkçe yaz", "kısa tut", "şu müşteri için" gibi talimatlar konuşmanın başındadır; kesildiklerinde model kuralı unutmuş gibi görünür, oysa kural o istekte pencereye hiç girmemiştir.

1. 1Eşiği yakala

   Geçmiş kendisine ayrılan payı aştığında sıkıştırma tetiklenir; her turda değil.

2. 2Sıkıştırılacak aralığı seç

   En eski turlar seçilir; son birkaç tur her zaman ham kalır çünkü "bu", "şu" gibi göndermeler oralara dayanır.

3. 3Özeti üret

   Ayrı ve ucuz bir çağrıyla, neyin saklanacağı şemayla belirtilerek özet çıkarılır.

4. 4Özeti sabit bölüme yaz

   Özet geçmişin başında tek bir blok olarak durur ve bir sonraki sıkıştırmada güncellenir.

• Kullanıcının verdiği kısıtlar ve tercihler
• Alınmış kararlar ve açıkça reddedilmiş seçenekler
• Kimlikler: kayıt numarası, dosya adı, kişi ve ürün adları
• Açık kalan sorular ve bekleyen adımlar

Uzun bağlam çalışmalarında tekrarlanan bir gözlem var: modelin bir bilgiden yararlanma başarısı, o bilginin bağlam içindeki konumuna göre değişiyor; başta ve sonda duran içerik, ortada kalana göre daha güvenilir biçimde kullanılıyor. Bu, pencereye sığdırmanın tek başına yeterli olmadığı anlamına gelir — sıra da bir tasarım kararıdır.

• Davranışı belirleyen kurallar en başta durur.
• Kullanıcının sorusu sonda tekrar edilir; uzun bir kanıt yığınının ardından soru yeniden görünür olmalı.
• Getirilen parçaları düz puan sırasına dizmek yerine en güçlü adayları uçlara yerleştirmeyi deneyin.
• Biçim talimatı kanıttan sonra gelsin; biçim kuralının kanıt yığınının ortasında kalması, biçim hatalarının bilinen kaynaklarından biri.

Taşma anı, sistemin en çok kişiselleşen anıdır: her çağrı noktası kendi kesme mantığını yazmışsa aynı girdi iki farklı yolda iki farklı bağlam üretir ve hata yeniden üretilemez. Kesme kuralı tek bir yerde yaşamalı ve deterministik olmalı — aynı girdi her zaman aynı bağlamı üretmeli.

def bagla(bolumler, pay, korunan_tur: int = 2):
    """Sabit öncelikle kes; ne düştüğünü de döndür."""
    # Parçalar ve örnekler sondan düşer: en düşük puanlı aday en sonda durur.
    # Geçmiş baştan düşer — en eski tur gider, son turlar ham kalır.
    dusenler = []
    while olc(bolumler) > pay and bolumler["parcalar"]:
        dusenler.append(("parcalar", bolumler["parcalar"].pop()))
    while olc(bolumler) > pay and len(bolumler["gecmis"]) > korunan_tur:
        dusenler.append(("gecmis", bolumler["gecmis"].pop(0)))
    while olc(bolumler) > pay and bolumler["ornekler"]:
        dusenler.append(("ornekler", bolumler["ornekler"].pop()))
    if olc(bolumler) > pay:
        raise BaglamTasti(dusenler)   # kesilecek yer kalmadı: sessizce devam etme
    return bolumler, dusenler

İlk bütçe bir tahmindir ve her zaman yanlıştır; önemli olan ne kadar çabuk düzeltildiği. Bölüm başına token sayısını kaydedin, taşma oranını ve düşen parça sayısını izleyin. Bu üç sayı, hangi bölümden alıp hangisine vereceğinizi söyler — tartışma sezgiden çıkar.

• Bölüm başına token dağılımı — ortalama değil, yüzdelikler
• Taşma oranı ve istek başına düşen parça sayısı
• Çıktı payının fiilen kullanılan kısmı
• Kesilen yanıt oranı