Sürümleme, değerlendirme takımı ve yayına alma
Kendi işinizden sabit bir değerlendirme kümesi kurmayı, başarı ölçütünü otomatikleştirmeyi, istem sürümlerini aynı küme üzerinde karşılaştırmayı ve yayın sonrası sapmayı geri alma eşiğiyle birlikte izlemeyi öğretir.
Önkoşul: Prompt Engineering, Hallucination
BU DERSİN SONUNDA
- Gerçek trafikten sabit bir değerlendirme kümesi kurmak
- Göreve uygun başarı ölçütünü tanımlayıp otomatikleştirmek
- İki istem sürümünü aynı küme üzerinde karşılaştırıp karar vermek
- Yayın sonrası sapmayı ve geri alma eşiğini önceden tanımlamak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
İstem, koda benzeyen bir üretim varlığıdır: sürümlenir, ölçülür, yayına alınır ve gerekirse geri alınır. Bunu mümkün kılan tek şey sabit bir değerlendirme kümesidir — kendi işinizden toplanmış, beklenen sonucu yazılmış ve her değişiklikten sonra aynı biçimde koşturulan bir girdi kümesi. Küme yoksa "daha iyi oldu" bir izlenimdir, bir bulgu değil.
Teori: neden sabit bir küme#
İstem değişikliğinin etkisi yerel değildir. Tek bir vakayı düzeltmek için eklenen bir cümle, hiç bakmadığınız vakalarda davranışı değiştirebilir; çünkü eklenen cümle yalnızca o durumu değil, dağılımın tamamını koşullar. Bunu görmenin tek yolu her değişiklikten sonra aynı kümeyi baştan koşturmaktır. Gerekçe yazılım testindekiyle aynıdır; fark, doğrunun çoğu zaman tek bir dizeye değil bir ölçüte bağlanmasıdır.
Küme nereden gelir: gerçek trafikten, özellikle de başarısız olmuş vakalardan. Yalnızca uydurulmuş kolay vakalardan kurulan bir küme hiçbir şey kanıtlamaz. Sağlıklı bileşim şudur: çoğunluk tipik vakalar, belirgin bir azınlık sınır durumlar ve gerçekten görülmüş her hatanın kalıcı olarak eklenmiş hali. Ayrıca ayar yaparken bakmadığınız bir bölüm ayırın; yoksa istemi göreve değil kümeye uyacak şekilde biçimlendirirsiniz.
Başarı ölçütünü seçmek#
| Çıktı türü | Ölçüt | Otomatikleştirme | Dikkat |
|---|---|---|---|
| Sabit etiket | Beklenen etiketle birebir eşleşme | Doğrudan karşılaştırma | Sınıf dağılımı dengesizse genel oran yanıltır; sınıf bazında sayın |
| Yapılandırılmış kayıt | Şema geçerliliği artı alan bazında eşleşme | Şema doğrulayıcı ve alan karşılaştırması | Biçim doğru diye içerik doğru sayılmaz; ikisini ayrı raporlayın |
| Kaynağa dayalı cevap | İddianın verilen kaynakta karşılığı var mı | Atıf kimliğini kaynak parçasıyla eşleştirme | Doğru belge ama yanlış bölüm ayrı bir hata türüdür |
| Serbest metin | Maddeleri yazılı bir ölçek (rubrik) | Kısmen; ölçüt maddeleri açık yazıldığında | Ölçüt yazılı değilse iki değerlendirici uyuşmaz, ölçüm kayar |
| Geri çevirme davranışı | Cevaplamaması gereken girdide cevaplamadı mı | Doğrudan karşılaştırma | Aşırı geri çevirme de bir hatadır; ayrı bir kalem olarak sayın |
Serbest metin için modeli hakem yapmak çoğu zaman tek ölçeklenebilir yoldur, ama hakem bir ölçüm aracıdır ve kalibre edilmesi gerekir. Önce bir avuç vakayı kendi elinizle etiketleyin, sonra hakem isteminin sizin etiketlerinizle ne ölçüde uyuştuğunu ölçün. Uyuşma düşükse önce rubriği düzeltin, hakemi değil. Hakem istemi de sürümlenir: değiştiği anda eski skorlar yeni skorlarla karşılaştırılamaz hale gelir.
Sürümleme#
- İstem, uygulama kodunun içine gömülü bir dize olarak değil, depoda ayrı bir dosya olarak durur.
- Her sürüm bir kimlik taşır ve bu kimlik her çağrı kaydına yazılır; kayıtta kimlik yoksa hangi metnin o çıktıyı ürettiği bilinemez.
- İstem, model adı, örnekleme ayarları ve çıktı şeması tek bir sürümün parçalarıdır; biri değişirse sürüm değişir.
- Değerlendirme sonucu, ölçüldüğü sürüm kimliğiyle birlikte saklanır.
- Geri alma, önceki sürüm kimliğini seçmektir; metni elle geri yazmak değil.
Yayına alma#
- 1Çevrimdışı karşılaştırma
Yeni sürümü değerlendirme kümesinde koşturun ve ölçütleri tek toplam puanla değil ayrı ayrı raporlayın.
- 2Gerilemeyi ara
Genel sonuç yükselse bile düşen alt kümeleri arayın. Bir sınır durum ailesi bozulduysa yayın kararı değişir.
- 3Gölge koşu
Yeni sürümü gerçek trafikte kullanıcıya göstermeden koşturun ve çıktıları eskisiyle yan yana saklayın.
- 4Kademeli açma
Trafiğin bir bölümüne açın; sürüm kimliğini kayda yazın ve ölçütleri canlı takip edin.
- 5Geri alma eşiği
Açmadan önce hangi ölçütün hangi eşiği düştüğünde geri alınacağını yazın. Eşik yayından sonra tartışılmaz.
Yayından sonra: sapma#
İki tür sapma var. Girdi sapması: trafik değişir, yeni bir belge türü, yeni bir kullanıcı alışkanlığı ya da yeni bir dil gelir. Platform sapması: istemin arkasındaki model güncellenir veya bir varsayılan ayar değişir. İkisi de yenilenmeyen bir çevrimdışı kümede görünmez. Pratik karşılığı şudur: canlı girdilerden düzenli olarak örnek alıp kümeye ekleyin, her yayında koşan küçük bir duman testi tutun ve başarısız bir çağrıyı yeniden kurabilecek kadar kayıt yazın — girdi, sürüm kimliği, ayarlar, kullanılan kaynaklar ve çıktı.
Sık yapılan hata#
En sinsi hata, istemi değerlendirme kümesinde hiç hata kalmayana kadar ayarlamaktır. O noktada küme ölçmeyi bırakıp tanımlamaya başlamıştır; gerçek trafikte fark edilmeyen bir gerileme çoktan birikmiş olabilir. Belirtileri tanıyın: kümede hatanın sıfırlanması, her düzeltmenin isteme yeni bir cümle olarak eklenmesi ve istemin sürekli uzaması. Çare üç adımlıdır: ayar sırasında bakılmayan bir bölüm tutmak, kümeyi dönemsel olarak yenilemek ve her hatadan sonra kümeye o tek vakayı değil, o hata ailesini temsil eden birkaç vakayı eklemek.
LAB · UYGULAMALI ALIŞTIRMA
Yirmi vakalık bir küme kurup iki istem sürümünü karşılaştırın
- 1Kendi işinizden yirmi gerçek girdi toplayın: on iki tipik vaka, beş sınır durum ve daha önce gerçekten hata aldığınız üç vaka. Her biri için beklenen sonucu elle yazın.
- 2Beklenen sonucu makine karşılaştırmasına uygun bir biçime bağlayın: etiket, alan adlı kısa kayıt veya "kaynakta şu bölüm geçmeli" koşulu. Serbest metin bırakmayın.
- 3Kümeyi ikiye ayırın: on dört vakayı ayar yaparken göreceksiniz, altı vakayı kapalı tutup yalnızca son kararda açacaksınız.
- 4Mevcut isteminizi bir sürüm kimliğiyle dosyaya kaydedin, on dört vakada koşturun ve ölçütleri tek tek yazın. Bu taban çizginizdir.
- 5Tek bir şeyi değiştiren ikinci bir sürüm yazın (örneğin çıktıyı bir şemaya bağlamak) ve aynı on dört vakada koşturup ölçüt bazında yükselen ve düşen kalemleri ayrı ayrı işaretleyin.
- 6Kararınızı verdikten sonra kapalı tuttuğunuz altı vakayı iki sürümde de koşturun; sonuç kararınızı değiştiriyorsa nedenini yazın ve geri alma eşiğinizi bu deneye dayanarak tanımlayın.
Beklenen çıktı
Sürüm kimliğiyle kaydedilmiş iki istem, ölçüt bazında bir karşılaştırma tablosu, ayrı tutulan kümedeki sonuç ve yazılı bir geri alma eşiği.
Sık sorulan sorular
Kaç vaka yeterli?
Sihirli bir sayı yok; ölçüt kapsamdır. Pratik bir işaret şu: yeni bir vaka eklediğinizde sonuç neredeyse hiç değişmiyorsa küme o hata ailesini doyurmuş demektir, hâlâ oynuyorsa küme küçüktür. Küçük ama her gerçek hatanın kalıcı olarak eklendiği bir küme, büyük ama bir kez yazılıp unutulan bir kümeden iyidir.
Modeli değiştirdiğimde istemi yeniden yazmam mı gerekir?
İstem ve model tek bir sürümün parçalarıdır, bu yüzden model değişikliği istem değişikliğiyle aynı kapıdan geçer: aynı kümede koşturun ve ölçüt bazında karşılaştırın. Uygulamada en çok etkilenen kısımlar biçim talimatları, örnek sayısı ve geri çevirme davranışıdır.
Değerlendirme için modeli hakem yapmak güvenilir mi?
Kalibre edildiği ölçüde. Önce kendi elinizle etiketlediğiniz vakalarla hakemin uyuşmasını ölçün, uyuşma düşükse rubriği düzeltin. Hakemi kendi ürettiği çıktıyı değerlendirirken kullanmaktan kaçının ve hakem istemi her değiştiğinde uyuşmayı yeniden ölçün; aksi halde skorların zaman içindeki karşılaştırılabilirliği kaybolur.
LEARN
Prompt ve Bağlam Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.