Model çağrısının anatomisi
Bir üretici model çağrısının istek gövdesini alan alan çözer; örnekleme ayarlarının yanıtı nasıl değiştirdiğini ve jeton muhasebesinin neden her hesabın merkezinde durduğunu gösterir.
BU DERSİN SONUNDA
- İstek gövdesindeki koşullandırma, örnekleme ve sınır alanlarını birbirinden ayırt etmek
- Sıcaklık ve çekirdek örnekleme ayarlarını göreve göre seçmek
- Bir çağrının girdi ve çıktı jetonlarını kovalarına ayırarak saymak
- Yanıtın neden birebir tekrar edilemeyebileceğini açıklamak ve testi buna göre kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Bir model çağrısı iki şeyi ayarlar: modelin neye bakarak tahmin yapacağı (mesajlar, araç tanımları, geçmiş) ve üretilen olasılık dağılımından nasıl seçim yapılacağı (sıcaklık, çekirdek örnekleme, durdurma dizileri, azami çıktı uzunluğu). Ücretlendirme ve hız tek bir toplam üzerinden değil, girdi ve çıktı jetonları ayrı ayrı sayılarak belirlenir; bu yüzden her mühendislik kararı önce jeton muhasebesine yazılır.
Teori: çağrı neyi ayarlar#
Model her adımda tek bir iş yapar: o ana kadarki dizinin devamı için sözlükteki her jetona bir olasılık verir. İstek gövdesinin yarısı bu dağılımı koşullandırır, yani modelin neye bakacağını belirler. Diğer yarısı dağılımdan seçimin nasıl yapılacağını belirler. Bu ayrımı görmeyen bir geliştirici, örnekleme ayarıyla düzeltilecek bir sorunu istem yazarak çözmeye çalışır.
Rol etiketleri (sistem, kullanıcı, asistan) modele tek bir sıralı kayıt olarak ulaşır. Sistem mesajının ayrıcalığı mimari bir güvenlik sınırı değil, eğitimle öğretilmiş bir öncelik eğilimidir. Bu yüzden kullanıcıdan gelen metin sistem mesajındaki talimatı gölgede bırakabilir; yetki kararı uygulamada verilir, istemde değil.
İstek gövdesinin alanları#
| Alan | Ne yapar | Ne zaman dokunulur |
|---|---|---|
| Mesajlar | Modeli koşullandıran sıralı kayıt | Görev değiştiğinde; her turda geçmişin ne kadarını taşıdığınıza karar verirken |
| Araç tanımları | Modelin çağırabileceği işlevlerin şeması | Yeni yetenek eklerken; şema da girdi jetonu ödetir |
| Sıcaklık | Olasılık dağılımını düzleştirir veya keskinleştirir | Çıkarım ve ayıklama işlerinde düşük, taslak üretiminde yüksek |
| Çekirdek örnekleme (top-p) | Kümülatif olasılık eşiğini aşan kuyruğu eler | Uzun kuyruktan gelen alakasız jetonları kesmek gerektiğinde |
| Azami çıktı jetonu | Üretimi sert sınırla keser | Her üretim yolunda; hem bütçe hem kaçak koruması |
| Durdurma dizisi | Belirlenen metin görülünce üretimi bitirir | Sabit biçimli çıktıda fazladan açıklamayı kesmek için |
Örnekleme: iki ayarı birden çevirmeyin#
Sıcaklık, olasılıklara dönüşmeden önce ham puanları ölçekler: küçüldükçe en olası jeton baskın hale gelir, büyüdükçe dağılım düzleşir ve düşük olasılıklı jetonlar şans kazanır. Çekirdek örnekleme ise farklı bir iş yapar: jetonları olasılığa göre sıralar, kümülatif olasılık eşiği dolana kadar olanları tutar, gerisini tamamen eler. Biri dağılımın şeklini, diğeri seçim kümesinin sınırını değiştirir.
- Sınıflandırma, alan ayıklama, şemaya bağlı çıktı: sıcaklığı en alta çekin; çeşitlilik burada hata demektir.
- Özet ve yeniden yazım: düşük ama sıfır olmayan sıcaklık; takılıp kalan tekrarları azaltır.
- Taslak, başlık alternatifi, senaryo üretimi: sıcaklığı yükseltin, sonra tek tek eleyin.
- İkisini birlikte yükseltmeyin: dağılımı düzleştirip kuyruğu da açmak, ayarların etkisini birbirine karıştırır ve hata ayıklamayı imkânsızlaştırır.
Jeton muhasebesi#
Girdi jetonu tek bir şey değildir: sistem istemi, araç şemaları, biçim örnekleri, konuşma geçmişi ve kullanıcının o anki mesajı aynı kovaya girer. Çok turlu bir sohbette geçmiş her turda yeniden gönderildiği için girdi tarafı tur sayısıyla birlikte birikimli büyür. Çıktı jetonu ayrı sayılır ve ardışık üretildiği için hem faturayı hem bekleme süresini başka bir eğriyle etkiler.
{
"model": "<kullandiginiz-model-kimligi>",
"mesajlar": [
{ "rol": "sistem", "icerik": "Adres metninden il, ilçe ve posta kodunu çıkar. Yalnızca JSON döndür." },
{ "rol": "kullanici", "icerik": "Bağdat Cad. No 12 Kadıköy İstanbul 34710" }
],
"sicaklik": 0,
"azami_cikti_jetonu": 200,
"durdurma_dizileri": ["###"]
}Sık yapılan hata#
En yaygın yanılgı, aynı isteğin aynı yanıtı vereceğini varsaymaktır. Sıcaklık sıfırda bile eşit olasılıklı jetonların çözümü, toplu işlem düzeni ve sağlayıcı tarafındaki değişiklikler yanıtı kaydırabilir. Buna göre kurulmamış bir test, çıktı metnini birebir karşılaştırır ve her koşuda kırılır. Doğru yaklaşım, çıktının anlamını ya da yapısını doğrulayan bir kontrol yazmaktır: alan var mı, tip doğru mu, değer beklenen kümede mi.
LAB · UYGULAMALI ALIŞTIRMA
Aynı görevi üç ayarla koşturun
- 1Kendi verinizden yapı çıkaran tek bir görev seçin (örneğin serbest metin adresten il, ilçe ve posta kodu ayıklama) ve 10 gerçek örnek toplayın.
- 2Aynı istemi üç ayarla koşturun: en düşük sıcaklık; yüksek sıcaklık; yüksek sıcaklık artı daraltılmış çekirdek örnekleme eşiği. Üçüncü ayar, kuyruğu kesmenin sıcaklıktan ayrı bir kaldıraç olduğunu görmenizi sağlar. Her koşuda yanıtı, girdi ve çıktı jeton sayılarını kaydedin.
- 3Her örneği her ayarda iki kez koşturun ve iki çalıştırmanın çıktısının birebir aynı olup olmadığını işaretleyin.
- 4Ayar başına iki sayı çıkarın: 10 örnekte kaç tanesinde alanlar doğru geldi, kaç tanesi ikinci koşuda değişti.
- 5Ortalama çıktı jetonunu ayar başına hesaplayın ve doğruluk sütunuyla yan yana koyup hangi ayarın hangi bedelle kazandığını yazın.
Beklenen çıktı
Üç örnekleme ayarının aynı görev üzerindeki doğruluk, tekrarlanabilirlik ve çıktı uzunluğu karşılaştırmasını gösteren tek sayfalık tablo ve seçim gerekçesi.
Sık sorulan sorular
Sıcaklığı sıfıra çekince model deterministik olur mu?
Pratikte çok daha kararlı olur ama garanti değildir. Eşit olasılıklı jetonların çözümü, sağlayıcı tarafındaki toplu işlem düzeni ve model sürümündeki sessiz değişiklikler çıktıyı kaydırabilir. Testinizi birebir metin eşitliğine değil, yapı ve değer kontrolüne dayandırın.
Sistem mesajına 'bu talimatı asla yok sayma' yazmak yeterli mi?
Hayır. Rol ayrımı eğitimle öğretilmiş bir eğilimdir, çalıştırma zamanı sınırı değil. Kullanıcı girdisinin içinde gelen talimat benzeri metin bu eğilimi aşabilir. Yetki ve erişim kararları uygulama kodunda verilmeli, istem metnine bırakılmamalıdır.
Geçmişin tamamını her turda göndermek zorunda mıyım?
Hayır, ama gönderilmeyen her şey modelin bilmediği şeydir; model turlar arasında hafıza tutmaz. Karar, hangi bilginin sonraki turda gerçekten gerektiğine bakarak verilir: kimlik, sayı ve tarih gibi alanları ham taşıyın, uzun serbest metni sıkıştırın.
LEARN
LLM Uygulama Geliştirici rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.