Örnekleme ayarları ve bağlam bütçesi

Teori: dağılımı biçimlendirmenin iki yolu#

Sıcaklık, normalleştirmeden önce ham puanları yeniden ölçekler: birin altında dağılımı keskinleştirir, kütleyi tepeye toplar; birin üstünde düzleştirir, kuyruğu güçlendirir. Dağılımın tamamının biçimini değiştirir, hiçbir seçeneği tamamen elemez.

Top-k ve top-p ise biçimlendirmez, keser. Top-k sabit sayıda adayı tutar; top-p kümülatif kütlesi belirlenen orana ulaşan en küçük kümeyi tutar. Fark önemli: model bir adımda çok eminse top-p birkaç adayla yetinir, kararsızsa kümeyi genişletir — yani kesim, modelin o adımdaki kararlılığına uyum sağlar. Sıcaklığı bir kesme yöntemiyle birlikte kullanmak yaygındır; üçünü birden açmak etkinin hangi ayardan geldiğini okunmaz hale getirir.

Uygulamada: göreve göre kod çözme ve durdurma#

• Durdurma dizisi çıktının nerede biteceğini biçimle garantiler; yapılandırılmış çıktıda kapanış işaretini durdurma dizisi olarak vermek ayrıştırma hatalarını azaltır.
• En çok token sınırı bir kalite ayarı değil bir kesme noktasıdır: aşıldığında yarım bir nesne veya kapanmamış bir blok kalır. Sınırı çıktı biçiminin en kötü durumuna göre seçin.
• Yineleme cezası kilitlenmeyi azaltır, ama liste ve tablo üreten görevlerde meşru tekrarları da (aynı alan adı, aynı başlık) bastırır.
• Aynı ayar ve aynı tohumla bile çıkarım tam olarak yinelenebilir olmayabilir; yığınlama ve donanım farkları küçük kayan nokta sapmaları üretir.

Bağlam bütçesi: pencereyi böl#

Pencereyi tek bir metin gibi düşünmek bütçesizliğin kaynağıdır. Aynı pencereyi sistem talimatı, şema ve araç tanımları, getirilen kaynaklar, oturum geçmişi ve üretilecek çıktı paylaşır. Ekiplerin en sık unuttuğu kalem sonuncusudur: girdi pencereyi doldurursa üretim ortasından kesilir. Bütçe “ne sığarsa” değil, payları önceden yazılmış bir tablo olmalıdır.

Kırpma ve özetleme kuralı#

def baglam_kur(pencere, cikti_payi, sabit_metin, ozet, parcalar, sayac):
    """Pencereyi bölümlere ayırır; sınır dolunca yarım parça eklemez."""
    kalan = pencere - cikti_payi - sayac(sabit_metin) - sayac(ozet)
    if kalan <= 0:
        raise ValueError("Sabitler ve çıktı payı pencereyi dolduruyor")

    secilen, kullanilan = [], 0
    for parca in parcalar:                 # ilgi sırasına göre gelmiş olmalı
        n = sayac(parca.metin)
        if kullanilan + n > kalan:
            break                          # kes; parçayı ortasından bölme
        secilen.append(parca)
        kullanilan += n

    return secilen, kalan - kullanilan     # ikinci değer: boşta kalan bütçe

1. 1Sabitleri ayır

   Sistem talimatı ve şema asla kırpılmaz; bunlar bütçenin tabanıdır ve değişince sürüm değişir.

2. 2Çıktı payını kilitle

   Kalan alan hesaplanmadan önce çıktı için ayrılan token düşülür; bu pay pazarlık konusu değildir.

3. 3Kaynağı sırala ve kes

   Getirilen parçalar ilgi sırasına göre eklenir; sınır dolduğunda kesilir, yarım parça eklenmez.

4. 4Geçmişi özetle

   Eski turlar, alınan kararları ve kısıtları koruyan kısa bir özete dönüştürülür; özetin kendisi de bütçede bir kalemdir.

Sık yapılan hata#

Birinci hata, yer var diye pencereyi doldurmaktır: ilgisiz metin hem maliyet ve gecikme ekler hem de cevabın dayanacağı parçayı seyreltir; üst sınırı olmayan bir kaynak bütçesi ayrıca bekleyen bir maliyet olayıdır. İkinci hata, aslında talimattan veya getirilen kaynaktan doğan bir kalite sorununu sıcaklıkla çözmeye çalışmaktır; bu, belirtiyi gizler ve sorunu bulmayı zorlaştırır.