İstem sürümleme ve değerlendirme takımı kurmak

Kod içine gömülü bir istem üç şeyi imkânsız kılar: değişikliği tek başına gözden geçirmek, hangi sürümün üretimde olduğunu bilmek ve dağıtım yapmadan geri almak. İstem bir yapılandırma nesnesidir; metin, değişken şeması ve model ayarları birlikte durmalı çünkü davranışı üçü birlikte belirler.

kimlik: destek-yanit
surum: 7
model:
  rol: sohbet              # somut model adı ortam yapılandırmasından gelir
  sicaklik: 0
  en_fazla_cikti_token: "butce.cikti_payi"
degiskenler:
  musteri_adi: { tip: metin, zorunlu: true }
  kayit_ozeti: { tip: metin, zorunlu: true }
  politika_parcalari: { tip: liste, zorunlu: false }
cikti_semasi: sema/destek-yanit.json
sablon: sablon/destek-yanit.md
araclar: [kayit_ara, kuyruga_yonlendir]

Bu ayrım gözden geçirmeyi de değiştirir: istem değişikliği artık kod değişikliğinin içinde kaybolmaz, tek başına okunabilir bir fark olarak görünür. Bir cümlenin çıkarılmasıyla bir kuralın eklenmesini ayrı ayrı tartışabilir, ikisini ayrı ayrı geri alabilirsiniz.

Sürüm kimliği bir sayı değil, davranışı belirleyen her şeyin özetidir. Aynı şablon farklı bir sıcaklıkla ya da farklı bir çıktı şemasıyla çalıştığında ortaya çıkan şey aynı istem değildir; kimlik bunları kapsamazsa iz kaydınız doğru görünen ama yanlış olan bir cevap verir.

• Şablon metninin kendisi
• Model ailesi ve örnekleme ayarları: sıcaklık, çekirdek örnekleme, durdurma dizileri
• Çıktı şeması ve biçim zorlaması
• Modele verilen araç listesi ve araç şemaları
• Varsa örneklerin kümesi ve sırası — sıra da davranışı değiştirir

Regresyon kümesi bir kalite ölçeği değil, bir kapıdır: sorduğu soru "bu istem ne kadar iyi" değil, "dün çalışan bir şey bugün bozuldu mu". Bu yüzden küçük, sabit ve gerçek olmalı. Uydurulmuş girdiler kolay vakaları fazla temsil eder ve kapı hiçbir zaman kırmızıya dönmez.

• Gerçek: üretim kaydından alınmış ve kişisel veriden arındırılmış girdiler.
• Kapsayıcı: kolay, sınırda ve daha önce hata vermiş vakalar birlikte bulunsun.
• Sabit: küme sürümlenir; değiştiğinde bu ayrı bir değişiklik olarak gözden geçirilir.
• Ayırt edici: iki istem sürümünün farklı sonuç üretme ihtimali olan vakalar seçilir — hepsinin geçtiği bir küme hiçbir şey ölçmez.
• Dengeli: tek bir müşteri ya da tek bir senaryo kümeyi domine etmemeli.

Bir vakanın "geçti" sayılması insan okumasını gerektiriyorsa kapı otomatik çalışamaz, çalışsa bile gözden geçirme ritmine yetişemez. Kabul ölçütü mümkün olduğunca deterministik denetleyicilere çevrilir; model yargıcı en sona, yalnızca deterministik olarak yakalanamayan boyutlar için bırakılır.

Yeni sürümü tek başına koşturup sonucu hatırladığınız eski sayıyla kıyaslamak karşılaştırma değil temennidir: küme, model ayarları veya sağlayıcı tarafında bu arada değişen bir şey farkı tek başına açıklayabilir. İki sürüm aynı koşuda, aynı koşullarda çalıştırılır.

Farkın gürültüden mi geldiğini bilmek için önce gürültüyü ölçün: aynı istemi aynı vakalarla iki kez koşturun ve sonucu değişen vakaları sayın. Bu sayı sizin taban gürültünüz; yeni sürümün ürettiği fark bunun altındaysa karar vermek için yeterli değildir, küme büyütülmeli ya da denetleyiciler sıkılaştırılmalıdır.

Kapının otomatik olması, insanın rolünü ortadan kaldırmaz; değiştirir. İnsan gerilemeyi fark etmeye çalışmaz — o işi koşu yapar. İnsanın işi, gerilemenin kabul edilebilir olup olmadığına karar vermek ve kararı gerekçesiyle yazmaktır.

1. 1Değişiklik açılır

   İstem dosyası, şablon veya denetleyici değiştiğinde iş hattı tetiklenir; kod değişmemiş olsa bile.

2. 2İki sürüm koşar

   Ana daldaki sürüm ile öneri, aynı vaka kümesinde ve aynı ayarlarla çalıştırılır.

3. 3Fark raporu düşer

   Vaka bazında kazanç ve gerileme listesi, değişikliğin altına yorum olarak eklenir.

4. 4Kapı karar verir

   Gerileme varsa birleştirme engellenir; istisna ancak gerekçesi yazılarak açıkça verilir.

5. 5Kimlik yayımlanır

   Birleşen sürüm yeni ve değişmez bir kimlik alır; artık dağıtımdan bağımsız olarak açılabilir.

• Koşu deterministik denetleyicilerde kararlı olmalı: kararsız bir kapı iki hafta içinde görmezden gelinmeye başlar.
• Koşu süresi gözden geçirme ritmine sığmalı; saatler süren bir kapı atlatılır.
• Sağlayıcı arızasında kapı "kırmızı" değil "çalıştırılamadı" demeli — ikisi farklı kararlar gerektirir.

Çevrimdışı küme üretimin dağılımını hiçbir zaman tam kapsamaz: gerçek kullanıcılar sizin toplamadığınız biçimlerde yazar, yeni senaryolar gelir, girdi uzunluğu dağılımı kayar. Bu yüzden kapıdan geçen bir sürüm doğrudan tüm trafiğe verilmez. Dilimi yeni bir dağıtımla değil, isteğe göre okunan bir sürüm göstergesiyle verin: istek bir anahtara (kullanıcı ya da oturum kimliği) göre eski veya yeni kimliğe yönlendirilir, böylece aynı kullanıcı tur boyunca aynı sürümde kalır. Bir sonraki adım bu göstergeyi geri almanın da anahtarı yapıyor.

• Şema doğrulama hatası oranı — biçim bozulması canlıda en hızlı görünen sinyaldir.
• Kaçış oranı: modelin cevap veremediğini söylediği vakaların payı; ani artış da ani düşüş de incelenir.
• Araç çağrısı hata oranı — istem değişikliği araç kullanımını sessizce bozabilir.
• İnsana devir oranı ve kullanıcı geri bildirimi: gecikmeli ama en güvenilir sinyaller.

Geri alma bir dağıtım işine dönüşürse, en çok ihtiyaç duyulduğu anda en yavaş yol olur. Aktif sürüm çalışma zamanında okunan bir değer olmalı; böylece dönüş saniyeler sürer ve karar, derleme hattının hızına bağlı kalmaz.

{
  "destek-yanit": { "aktif": "7", "dilim": { "8": 0.1 } },
  "belge-ozet":   { "aktif": "3" }
}

• Eski sürümler silinmez; geri alınacak hedef her zaman erişilebilir olmalı.
• Geri alma denetim kaydına yazılır: kim, ne zaman, hangi kimliğe döndü.
• Geri almayı düzenli bir tatbikat olarak deneyin; denenmemiş yol gerektiğinde çalışmaz.
• Yanıt önbelleği kullanıyorsanız önbellek anahtarı istem sürüm kimliğini içermeli — içermiyorsa geri aldıktan sonra da eski istemin cevapları servis edilmeye devam eder.