Context Window
Bağlam penceresi
Bir modelin tek seferde dikkate alabileceği toplam token miktarıdır; istem, ek bağlam ve üretilen cevap bu bütçeyi paylaşır.
Kısa cevap
Bağlam penceresi, modelin tek bir çağrıda dikkate alabileceği maksimum token sayısıdır. Bir kapasite ölçüsüdür; pencereye bilgi koymak, modelin o bilgiyi kullanacağını garanti etmez.
Büyük pencere her şeyi çözer mi?#
Hayır. Pencere büyüdükçe modelin ortadaki bilgiyi gözden kaçırma eğilimi ve maliyet artar. Pratikte doğru soru "kaç token sığıyor" değil, "hangi bilgiyi pencereye koymalıyım" sorusudur.
Bütçe dört kalemden oluşur#
- 01Sistem istemi: sabit; her çağrıda ödenir, kısaltmanın getirisi çağrı sayısıyla çarpılır.
- 02Bağlam: geri getirilen belge parçaları; en oynak ve en kontrol edilebilir kalem.
- 03Konuşma geçmişi: her turda birikir; sınırlanmazsa sessizce büyür.
- 04Çıktı payı: modelin cevabı da pencerenin içindedir.
Uzun bağlamın üç bedeli#
| Bedel | Nasıl artar | Ne yapılabilir |
|---|---|---|
| Maliyet | Girdi token hacmiyle doğrusal | Geri getirmeyle daraltma, bağlam önbelleği |
| Gecikme | İlk tokene kadar süre uzar | Önek önbellekleme, bağlam budama |
| Doğruluk | İlgisiz bağlam dikkati seyreltir | Az ve isabetli parça, yeniden sıralama |
Uzun bağlam mı, geri getirme mi?#
Bu bir "ya/ya da" tercihi değil. Pratikte en dayanıklı kurulum, geri getirmeyle daraltılmış bağlamı geniş bir pencereye yerleştirmek. Tek ve orta boy bir belgeyi analiz ederken uzun bağlam tek başına yeterli olabilir; büyük, değişken ve çok kaynaklı belge kümelerinde geri getirme kaçınılmaz.
Uzun oturumları yönetmek#
- Geçmişe üst sınır koyun; aşıldığında özetleyerek taşıyın.
- Özetlerken kısıtları ayrı bir alanda koruyun; özet kısıtı da beraberinde silebilir.
- Kritik kısıtları istemde tekrar etmek yerine araç katmanında zorlayın.
- Bağlamda ne olduğunu izlerde kaydedin; hata ayıklamanın tek yolu bu.
Sık sorulan sorular
Daha büyük pencereye geçmek kaliteyi artırır mı?
Kendiliğinden artırmaz. Kazanç, pencereye konan bilginin isabetine bağlı. Geçiş kararı ölçülmüş bir doğruluk kazancına dayanmalı; aksi hâlde yalnızca maliyet ve gecikme artar.
Bağlam önbelleği nasıl çalışır?
Aynı uzun öneki tekrar tekrar kullanan akışlarda, önekin hesaplanmış temsili yeniden kullanılır. Önek değiştiğinde önbellek geçersizleşir; bu yüzden sabit kısımların istemin başında toplanması önemlidir.
Kaynaklar
- 01Sağlayıcı dokümantasyonları — Model ve altyapı sağlayıcıları · Dokümantasyon
- 02Sinaptik Research — kavram doğrulama notları — Sinaptik Lab · Teknik rapor
Güncelleme geçmişi
- v1.1Bütçe kalemleri ve bedel tablosu eklendi.
- v1.0İlk yayın.
LEARN
Context Window konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.