Token, olasılık ve bağlam penceresi
Bir dil modelinin metni nasıl parçaladığını, sıradaki parçayı nasıl seçtiğini ve bağlam penceresinin ne olduğunu açıklar; bu düzeneğe göre girdi kurmayı öğretir.
Önkoşul: Generative AI
BU DERSİN SONUNDA
- Token, olasılık dağılımı ve seçim adımını tek bir döngü olarak anlatmak
- Aynı soruya farklı cevap gelmesinin nedenini seçim ayarına bağlamak
- Bağlam penceresini bir bütçe olarak planlamak
- Girdiyi görev, kaynak, biçim ve belirsizlik kuralı sırasıyla kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Bir dil modeli metni token denen parçalara böler, o ana kadarki parçalara bakarak sıradaki token için bütün sözlük üzerinde bir olasılık dağılımı hesaplar, bu dağılımdan bir token seçer ve seçtiğini metnin sonuna ekleyip döngüyü tekrarlar. Cümle bu tek adımın üst üste binmesiyle oluşur. Modelin gördüğü her şey bağlam penceresinin içindedir; dışında hafızası yoktur.
Teori: üç adımlık döngü#
Token ne harf ne kelimedir; sık geçen parçalar tek birim, nadir veya çok ekli biçimler birkaç birim olur. Bu ara çözümün nedeni pratiktir: sözlük kelime bazlı olsaydı hiç görülmemiş her kelime işlenemezdi, harf bazlı olsaydı diziler çok uzardı. Türkçe gibi ekleri zengin dillerde aynı anlam, çekim yüzünden daha çok parçaya bölünme eğilimindedir.
Model her adımda tek bir cevap değil, sözlükteki her tokenın gelme olasılığını üretir. 'Ankara Türkiye'nin ...' girdisinde 'başkentidir' yüksek, 'denizidir' düşük olasılık alır. Buradaki bilgi bir kayıttan okunmaz; eğitimde görülen metinlerin istatistiği ağırlıklara sinmiştir ve model o istatistiği yeniden üretir.
Dağılımdan token seçmenin iki ucu vardır. Her zaman en yüksek olasılıklıyı seçmek tekrarlanabilir ama tekdüze metin üretir; olasılıklara göre rastgele seçmek çeşitlilik katar ama aynı soruya farklı cevaplar verir. Aynı soruya iki farklı cevap almanızın nedeni modelin fikir değiştirmesi değil, bu seçim adımındaki rastgeleliktir.
Uygulamada: aynı soru, farklı cevap#
| Seçim davranışı | Çıktının karakteri | Uygun iş | Riski |
|---|---|---|---|
| En olası tokenı al | Tekrarlanabilir, kuru | Sınıflandırma, alan çıkarma, biçimli çıktı | Kalıplaşmış ve tekrara düşen metin |
| Olasılığa göre örnekle | Değişken, akıcı | Taslak yazma, seçenek üretme | Aynı girdi farklı çıktı; denetim zorlaşır |
| Çok düşük olasılıkları ele | Konudan sapmayı azaltır | Çoğu üretim işi | Nadir ama doğru ifadeler de elenebilir |
Bağlam penceresi#
Bağlam penceresi, modelin bir adımda görebildiği token bütçesidir ve içine her şey girer: sistem talimatı, önceki mesajlar, yapıştırdığınız belge ve modelin ürettiği cevap. Pencere dışında kalan hiçbir şey modelin erişiminde değildir. Sohbetin başındaki bir ayrıntı pencereden düştüğünde model onu unutmaz, hiç görmemiş olur. Kalıcı hafıza izlenimi, arayüzün önceki mesajları her seferinde yeniden göndermesinden doğar.
- Uzun bir sohbette en eski mesajlar ya kırpılır ya özetlenir; kritik kararları sohbete gömmek yerine girdide tekrar edin.
- Belge yapıştırmak bütçeyi hızla doldurur; belgenin tamamı yerine ilgili bölümünü vermek çoğu zaman daha iyi sonuç verir.
- Cevap da aynı bütçeden yer kaplar: girdi pencereyi doldurursa üretilecek cevaba yer kalmaz.
- Pencerenin büyük olması, ortadaki bilginin eşit dikkatle kullanılacağı anlamına gelmez; önemli talimatı girdinin başına veya sonuna koymak pratikte daha güvenlidir.
- Model penceredeki metni okur, doğrulamaz: yanlış bir belge koyarsanız cevap da o yanlışa dayanır.
Karar: girdiyi nasıl kurarsınız#
- 1Görevi başa yazın
Ne istendiğini en başta söyleyin; uzun bir belgenin sonunda kalan talimat gözden kaçabilir.
- 2Bilgiyi girdiye koyun
Cevabın dayanacağı belgeyi veya veriyi metne dahil edin; modelden hatırlamasını beklemeyin.
- 3Çıktının biçimini tarif edin
İstenen alanları ve hangi alanın ne zaman boş bırakılacağını yazın; serbest metin sonradan ayrıştırmayı zorlaştırır.
- 4Belirsizlik davranışını belirtin
Bilgi girdide yoksa ne yapılacağını yazın; aksi halde model boşluğu akıcı bir tahminle doldurur.
Sık yapılan hata#
Sık yapılan hata, modele 'şunu hatırlıyor musun' diye sormak ve gelen cevabı hafıza kanıtı saymaktır. Model penceredeki metne bakarak tutarlı bir cevap üretir; pencerede olmayan bir şey sorulduğunda da makul görünen bir cevap üretmeye devam eder. İkinci hata, uzun bir belgeyi tamamen yapıştırıp 'burada bir yerde' demektir: bütçe dolar, önemli kısım kırpılır ve cevap eksik metne dayanır.
LAB · UYGULAMALI ALIŞTIRMA
Bağlam bütçesini kendi belgenizle sınayın
- 1Kendi işinizden iki üç sayfalık bir belge seçin ve içeriğinden cevaplanabilecek beş soru yazın; cevapları belgeden kendiniz çıkarıp bir anahtar oluşturun.
- 2Belgeyi paragraf sınırlarından üç parçaya bölün ve her sorunun cevabının hangi parçada olduğunu işaretleyin.
- 3Her soru için yalnızca gereken parçayı içeren kısa bir girdi metni yazın; görevi baştaki tek cümlede tarif edin.
- 4Aynı soruları belgenin tamamının yapıştırıldığı uzun bir girdi biçiminde de yazın ve iki sürümün uzunluğunu kelime sayarak karşılaştırın.
- 5Girdilerinize 'bilgi metinde yoksa belirsiz yaz' kuralını ekleyin ve belgede cevabı bulunmayan bir altıncı soru yazarak bu kuralın sınandığı bir durum oluşturun.
- 6İki girdi sürümünü yan yana koyup hangi bilginin kırpılma riski taşıdığını tek paragrafta not edin.
Beklenen çıktı
Beş soruluk bir cevap anahtarı, aynı soruların dar ve geniş bağlamlı iki girdi sürümü ve bilginin bulunmadığı durumu sınayan bir kontrol sorusu.
Sık sorulan sorular
Bağlam penceresi büyüdükçe her şeyi içine koymak mantıklı mı?
Hayır. Pencereye giren her token işlenir; bu hem gecikmeyi hem maliyeti artırır, hem de ilgisiz metin doğru parçanın yanına gürültü koyar. Kural şu: pencereye ilgili olanı koyun, elinizdeki her şeyi değil.
Model neden aynı soruya iki farklı cevap veriyor?
Token seçimi adımı çoğu arayüzde rastgelelik içerir. Tekrarlanabilirlik gerekiyorsa seçimi en olası tokenla sınırlayan ayarı kullanın; yine de model sürümü değiştiğinde çıktının değişebileceğini hesaba katın.
Türkçe girdiler neden daha çok token tüketiyor?
Alt sözcük sözlükleri ağırlıklı olarak veride sık görülen parçalardan oluşur. Türkçenin ekli yapısı aynı kökü çok sayıda farklı biçimde ürettiği için bu biçimler çoğu zaman birden çok parçaya bölünür. Sonuç, aynı anlamın daha çok token kaplamasıdır; bütçe hesabınızı kendi metninizle yapın.
LEARN
Yapay Zekâya Başlangıç rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.