Doğrulama, günlükleme ve yayına alma

Teori: neden uydurur#

Model her adımda en olası devamı üretir. Bir olgu eğitim verisinde yoksa ya da istemde verilmemişse, model bunu bir boşluk olarak deneyimlemez; yine akıcı ve makul görünen bir devam üretir. Bilmediğini söylemek, öğrenilmiş bir davranış olmadığı sürece ender seçilen bir devamdır; bu yüzden 'emin değilsen söyleme' talimatı tek başına zayıf bir korumadır. Belge getirme riski azaltır ama ortadan kaldırmaz: yanlış parça getirildiğinde model yanlış bilgiyi kaynaklı görünen bir cümleyle sunduğu için riski artırabilir.

Yakalama katmanları#

Ölçüm kümesi#

Ölçüm kümesi uydurulmuş sorulardan değil, gerçek kayıtlardan kurulur. Her satırda üç şey bulunur: girdi, beklenen davranış ve ikili bir kabul ölçütü. Ölçüt ikili olmalıdır, çünkü 'iyi cevap' diye işaretlenen bir küme iki hafta sonra kimsenin aynı şekilde yorumlayamayacağı bir kümeye dönüşür.

• Cevaplanamayan soru: doğru davranış reddetmektir, üretmek değil.
• Çelişen iki kaynak: sistemin hangi sürümü seçtiğini ve bunu söyleyip söylemediğini ölçer.
• Yetki dışı istek: cevabın verilmemesi gereken durum.
• Biçim tuzağı: şemayı zorlayan alışılmadık ama meşru girdi.
• Çok uzun girdi: pencere sınırında davranışı ölçer.
• Kullanıcının yanlış varsayımla sorduğu soru: düzeltme mi yoksa uyum mu gösteriyor.

Günlüğe ne yazılır#

{
  "istek_kimligi": "req-2026-0914-8831",
  "istem_surumu": "siparis-yanit-v7",
  "model_kimligi": "<model-kimligi>",
  "ayarlar": { "sicaklik": 0, "azami_cikti_jetonu": 400 },
  "girdi_jetonu": 1420,
  "cikti_jetonu": 186,
  "sonlanma_sebebi": "durdurma",
  "arac_cagrilari": ["siparis_durumu_getir"],
  "dogrulama_sonucu": "gecti",
  "dayanak_kimlikleri": ["kb-iade-politikasi#madde-4"],
  "gecikme_ms": 2140,
  "kullanici_geri_bildirimi": null,
  "girdi_ozeti": "<maskelenmiş>"
}

Yukarıdaki kayıttaki değerler alanların biçimini göstermek için uydurulmuştur; anlamlı olan sayılar değil, kaydın şemasıdır. Bu alanların seçim ölçütü tektir: bir kaydı okuyan kişi, o isteğin neden o cevabı verdiğini yeniden kurabilmeli. İstem sürümü ve model kimliği olmayan bir kayıtta, iki hafta sonraki bir şikâyeti araştırmak imkânsızdır; jeton ve gecikme alanları olmayan bir kayıtta bütçe tartışması tahmine düşer. Ham kullanıcı metnini saklamak ise ayrı bir karardır ve maskeleme ile saklama süresine bağlanmadan verilmemelidir.

Yayın ve geri alma#

1. 1Kümede koştur

   Yeni istem sürümünü sabit ölçüm kümesinde çalıştır; düzelen ve bozulan örnekleri ayrı ayrı listele.

2. 2Küçük paya aç

   Trafiğin sınırlı bir bölümünü yeni sürüme yönlendir; eski sürüm ayakta kalsın.

3. 3Sinyalleri izle

   Doğrulama ihlali oranı, kesilme oranı, ortalama çıktı jetonu, kullanıcı düzeltmesi ve devretme oranını sürüm kırılımıyla izle.

4. 4Eşikte geri al

   Önceden yazılmış eşik aşılırsa istem sürümünü geri al; geri alma bir dağıtım değil, yapılandırma değişikliği olmalı.

5. 5Vakayı kümeye ekle

   Canlıda yakalanan her yeni hata sınıfını ölçüm kümesine satır olarak ekle ve sürüm numarasını artır.

Sık yapılan hata#

En yaygın hata istemi 'iyileştirip' birkaç örneğe gözle bakmaktır. İstem değişiklikleri yerel görünür ama değildir: bir vakayı düzelten cümle başka bir vakayı sessizce bozar ve bu bozulma ancak sabit bir kümede ölçülürse görülür. Küme de bu yüzden istemle birlikte değiştirilmez; büyüdüğünde sürüm numarası artırılır ve eski skorlar silinmez. Ölçüm kümesi olmadan yapılan istem değişikliği bir iyileştirme değil, sonucu bilinmeyen bir takastır.