Örnekleme ayarları ve tekrarlanabilirlik
Sıcaklık, üst olasılık ve durdurma ayarlarının çıktı dağılımını nasıl biçimlendirdiğini, tekrarlar arası sapmanın nasıl ölçüleceğini ve bu ayarların uydurma cevapla ilişkisinin neden yanlış kurulduğunu öğretir.
Önkoşul: Prompt Engineering
BU DERSİN SONUNDA
- Sıcaklık, üst olasılık ve üst-k ayarlarının dağılıma etkisini ayırt etmek
- Bir görevin kararlılık mı çeşitlilik mi istediğine karar vermek
- Aynı istemin tekrarlarındaki sapmayı ölçülebilir bir imzayla izlemek
- Uydurma cevap riskini örnekleme ayarlarıyla karıştırmamak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Örnekleme ayarları modelin ne bildiğini değiştirmez; bildiğini nasıl seçtiğini değiştirir. Model her adımda sözlüğün tamamı üzerinde bir olasılık dağılımı üretir; sıcaklık bu dağılımı keskinleştirir ya da düzleştirir, üst olasılık ve üst-k ise kuyruğu keser. Ayar seçimi bir kalite kadranı değil, görevin kararlılık mı çeşitlilik mi istediğine dair bir karardır.
Teori: dağılımı biçimlendirmek#
Model her adımda her token için bir ham puan üretir; bu puanlar normalleştirilerek olasılığa çevrilir. Sıcaklık, normalleştirmeden önce ham puanları bölen katsayıdır. Birden küçük bir sıcaklık farkları büyütür, olasılık kütlesi zaten önde olan token üzerinde toplanır. Birden büyük bir sıcaklık farkları küçültür ve dağılım düzleşir. Hiçbir durumda yeni bilgi eklenmez; yalnızca aynı dağılımın şekli değişir.
Üst olasılık (nucleus) ve üst-k ise kesme yapar. Üst olasılık, tokenları olasılığa göre sıralayıp birikimli olasılık eşiğe ulaşana kadar alır ve yalnızca bu kümeden örnekler; küme boyu modelin o anki kararlılığına göre kendiliğinden değişir. Üst-k ise modelin kararlılığından bağımsız olarak sabit sayıda aday tutar. İkisi arasındaki asıl fark uyarlanabilirliktir: model çok emin olduğunda üst olasılık kümeyi kendiliğinden daraltır, üst-k daraltmaz.
| Ayar | Neyi değiştirir | Ne zaman dokunulur |
|---|---|---|
| Sıcaklık | Dağılımın keskinliği; düşükte önde gelen token baskın olur | Kararlılık ile çeşitlilik arasında ana kadran |
| Üst olasılık | Örneklenecek aday kümesini birikimli olasılıkla keser | Kuyruktaki alakasız tokenları elemek gerektiğinde |
| Üst-k | Aday sayısını sabit tutar, modelin eminliğine bakmaz | Sabit bir tavan istendiğinde; genelde üst olasılıkla birlikte gerekmez |
| Azami çıktı uzunluğu | Üretimin nerede kesileceğini belirler | Yapılandırılmış çıktıda yarım kalmayı önlemek için mutlaka |
| Durdurma dizisi | Belirli bir dizeyi görünce üretimi bitirir | Modelin kendi kendine yeni bölüm açmasını kesmek için |
| Tohum | Sağlandığında örnekleme kararlarını tekrarlanabilir kılmayı hedefler | Karşılaştırma yaparken; garanti değil, yardımcı bir araç |
Uygulamada: görev ne ister?#
| Görev | İstenen | Yaklaşım |
|---|---|---|
| Yapılandırılmış çıkarım (alan doldurma) | Tekrarlanabilirlik | En düşük sıcaklık, dar kuyruk, katı durdurma ve şema doğrulaması |
| Sınıflandırma ve yönlendirme | Kararlılık | Düşük sıcaklık; çıktıyı kapalı bir etiket kümesine bağlayın |
| Özet | Ölçülü çeşitlilik | Düşük ile orta arası; kapsam kaybını ayrıca denetleyin |
| Başlık, fikir ve alternatif üretme | Çeşitlilik | Yüksek sıcaklık ve tek istekte birden çok aday; seçimi siz yapın |
| Kod ve sorgu üretimi | Kararlılık artı yeniden deneme | Düşük sıcaklık; hata alındığında hata mesajıyla birlikte tekrar koşturun |
Sapmayı ölçmek#
- 1Girdi setini sabitle
Kendi işinizden gelen ve doğru cevabını bildiğiniz bir avuç girdi. Set değişirse ölçüm karşılaştırılamaz.
- 2Karşılaştırılabilir bir imza türet
Çıktının tamamını değil, karar taşıyan kısmını sabit bir dizeye indirin: etiket, alan değerleri veya çıkarılan sayı.
- 3Aynı girdiyi tekrarla
Her girdiyi aynı ayarla birkaç kez koşturun; girdi başına imza listesi elde edin.
- 4Uyuşmayı say ve eşik koy
Girdi başına kaç tekrarın aynı imzayı verdiğini sayın. Göreviniz için kabul edilebilir asgari uyuşmayı önceden yazın.
İmza seçimi ölçümün kalitesini belirler. Serbest metin çıktıyı olduğu gibi karşılaştırırsanız her koşu farklı çıkar ve ölçüm işe yaramaz; oysa sizi ilgilendiren şey metnin kelimesi kelimesine aynı olması değil, kararın aynı olmasıdır. Bu yüzden imzayı çıktının kendisinden değil, çıktıdan türettiğiniz karardan kurun: hangi sınıfa atadı, hangi maddeye dayandı, hangi sayıyı çıkardı.
Sıcaklık ve uydurma cevap#
Yaygın bir beklenti, sıcaklığı en düşüğe çekmenin uydurma cevabı bitireceğidir. Bitirmez. Düşük sıcaklık, modelin en olası devamının kazanmasını sağlar; o devam yanlışsa sonuç her koşuda aynı biçimde, üstelik daha kararlı biçimde yanlış olur. Yüksek sıcaklık ise düşük olasılıklı tokenların seçilme ihtimalini artırır; bu hem hataların çeşidini hem de bir koşuda hatayla karşılaşma ihtimalini yükseltir. Ayar bu yüzden bir doğruluk kadranı değildir: oynaklığı azaltabilir ama modelin bilmediği bir şeyi bilmesini sağlamaz.
Uydurma cevabın gerçek panzehiri ayar değil, dayanaktır: cevabın üretileceği kaynağı bağlama koymak, cevabı o kaynağa atıfla istemek ve atfı üretimden sonra doğrulamak. Düşük sıcaklık bunun yerine geçmez; yalnızca doğrulanabilir bir çıktı almayı kolaylaştırır.
- Sıcaklık ve üst olasılığı aynı anda oynatmak: hangi kadranın etkisini gördüğünüzü kaybedersiniz.
- Azami çıktı uzunluğunu ayarlamadan yapılandırılmış çıktı istemek: kayıt ortadan kesilir ve ayrıştırıcı hata verir.
- Durdurma dizisi tanımlamamak: model cevabı bitirdikten sonra kendi kendine yeni bir bölüm açar.
- Tek koşuya bakıp "istem düzeldi" demek: gördüğünüz şey düzelme değil, dağılımdan çekilmiş tek bir örnek olabilir.
LAB · UYGULAMALI ALIŞTIRMA
Kendi göreviniz için kararlılık eşiği çıkarın
- 1Kendi işinizden, çıktısı denetlenebilir bir görev seçin (örneğin bir metinden üç alanlı bir kayıt çıkarma) ve on gerçek girdi hazırlayın.
- 2Çıktıdan tek bir karşılaştırılabilir imza türetin: alan değerlerini sabit sırayla birleştiren kısa bir dize. Karşılaştırmayı yalnızca bu imza üzerinden yapacaksınız.
- 3Aynı istemi her girdi için beş kez, önce en düşük sıcaklıkta sonra orta bir sıcaklıkta koşturun ve imzaları kaydedin.
- 4Her girdi için beş imzadan kaçının aynı olduğunu sayın; iki ayar için girdi başına uyuşma sayısını tabloya yazın.
- 5Ayarlar arasında farklılaşan çıktıları elle inceleyin ve farkın biçimde mi içerikte mi olduğunu işaretleyin.
- 6Göreviniz için kabul edilebilir asgari uyuşma sayısını ve bu eşiği sağlayan en yüksek sıcaklığı, incelemenize dayanarak tek cümleyle yazın.
Beklenen çıktı
Girdi başına uyuşma sayısını iki ayar için gösteren bir tablo ve göreviniz için gerekçelendirilmiş bir sıcaklık kararı ile kararlılık eşiği.
Sık sorulan sorular
Sıcaklığı sıfıra çekmek uydurma cevapları durdurur mu?
Hayır. Düşük sıcaklık en olası devamın kazanmasını sağlar; model o soruda yanılıyorsa aynı yanlışı her koşuda daha kararlı biçimde üretir. Uydurmayı azaltmanın yolu cevabı bağlamdaki bir kaynağa dayandırmak ve atfı üretimden sonra doğrulamaktır.
Sıcaklık ile üst olasılığı birlikte mi ayarlamalıyım?
Sıcaklık dağılımın tamamını yeniden biçimlendirir, üst olasılık ise aday kümesini birikimli olasılıkla keser; etkileri kuyrukta üst üste biner. Bu yüzden ikisini birden oynatmak hangi değişkenin sonucu değiştirdiğini belirsizleştirir. Birini varsayılanda sabitleyip diğerini değiştirin; çoğu görevde tek bir kadranı ayarlamak yeterlidir.
Her seferinde aynı çıktıyı almam gerekiyorsa ne yapmalıyım?
Ayarlar bunu garanti etmez. Tekrarlanabilirliğe ihtiyaç duyan kısmı model çağrısının dışına taşıyın: girdiye göre anahtarlanan bir önbellek, çıktının şemayla doğrulanması ve son biçimlendirmenin belirlenimci kodla yapılması. Model çağrısını belirlenimci bir bileşen gibi değil, doğrulanması gereken bir kaynak gibi ele alın.
LEARN
Prompt ve Bağlam Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.