Değerlendirme kapısı ve geri alma yolu
Değerlendirme koşusunu hattın zorunlu adımına dönüştürür: bloke eden ve uyaran eşikleri ayırır, kayıtlı bir elle aşma yolu tanımlar. Geri almayı ölçülen bir yetenek hâline getirir ve hattın tamamını tek bir sürüm üzerinde birleştirir.
Önkoşul: Evaluation, LLMOps, MLOps
BU DERSİN SONUNDA
- Bloke eden ve uyaran kapı ölçütlerini birbirinden ayırmak
- Değerlendirme gürültüsünü ölçüp eşiği bunun dışına yerleştirmek
- Kayıtlı bir elle aşma yolu tasarlamak
- Geri alma süresini bileşen bazında ölçmek ve künye bütünlüğünü korumak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Sürüm kapısı, değerlendirme koşusunu isteğe bağlı bir adım olmaktan çıkarıp geçilmesi zorunlu bir eşiğe dönüştürür. Kapının işe yaraması iki şeye bağlıdır: yalancı alarm üretmeyecek kadar kararlı bir değerlendirme ve kapı yanıldığında kullanılacak, kaydı tutulan bir aşma yolu. Geri alma ise kapının tamamlayıcısıdır; ölçülmemiş bir geri alma yolu yok sayılır.
Teori: kapı neyi engeller#
Kapı kötü sürümü değil, kötü sürümün yayımını engeller. Bu ayrım önemlidir: kapı geliştirmeyi yavaşlatmak için değil, bozuk olanın kullanıcıya ulaşmasını engellemek için vardır. Bu yüzden kapının ölçtüğü şey "model iyi mi" değil, "bu sürüm, önceki sürümün geçtiği yerlerde geçiyor mu" olmalıdır. Mutlak kalite bir ürün kararıdır; kapı bir gerileme kontrolüdür.
Değerlendirme koşusu gürültülüyse kapı güvenilmez hâle gelir. Çözümleme rastgeleliği, değerlendirici kararsızlığı ve küçük set boyutu aynı sürümü bir koşuda geçirir, diğerinde düşürür. Yalancı alarm veren bir kapı zamanla rutin olarak aşılır ve kapı olmaktan çıkar. Bu yüzden kapıya bağlanan ölçümün önce tekrarlanabilirliği ölçülmelidir.
Kapı tasarımı#
| Küme | Eşik tipi | Kapı davranışı |
|---|---|---|
| Regresyon seti: eskiden doğru bilinen örnekler | Sabit, hiçbiri kırılmamalı | Kırılırsa bloke eder |
| Güvenlik ve yetki örnekleri | Sabit, sıfır tolerans | Kırılırsa bloke eder, elle aşma kapalıdır |
| Biçim ve şema uyumu | Sabit oran | Altına düşerse bloke eder |
| Genel kalite seti | Önceki sürüme göreli, gürültü payı içinde | Düşerse uyarır, kararı insan verir |
| Gecikme ve maliyet bütçesi | Bütçe sınırı | Aşarsa uyarır, belirgin biçimde aşarsa bloke eder |
| Yeni yetenek seti | Bilgilendirme | Bloke etmez, sürüm notuna yazılır |
Elle aşma yolu#
Aşma yolu olmayan kapı, ilk acil durumda tamamen kapatılır ve bir daha açılmaz. Bu yüzden aşma yolu baştan tasarlanır: kim aşabilir, hangi gerekçe alanları zorunlu, kayıt nereye yazılır ve ne zaman gözden geçirilir. Aşma bir istisna değil, ölçülen bir olaydır. Aşma sayısı artıyorsa sorun sürümlerde değil, kapının ölçütlerindedir.
Geri alma: hangi bileşen ne kadar sürede döner#
| Bileşen | Geri alma yolu | Süreyi belirleyen |
|---|---|---|
| İstem ve parametreler | Önceki yapılandırmayı yeniden yayımlamak | Yapılandırma dağıtım süresi |
| Araç şemaları | Önceki şema sürümüne dönmek | İstemcilerin şemayı yeniden okuma süresi |
| Model sürümü, dış sağlayıcı | Sabitlenmiş etiketi geri almak | Yönlendirme güncellemesi |
| Model sürümü, kendi barındırma | Trafiği önceki yığına çevirmek | Eski yığının ayakta tutulup tutulmadığı |
| Vektör dizini | Önceki dizin sürümüne yönlendirmek | Eski dizinin silinip silinmediği; silindiyse yeniden inşa süresi |
| Kalıcı kayıt yapısı | Geri alma değil, ileriye doğru düzeltme | Yazılmış kayıtların uyumlu okunabilirliği |
Hattın tamamı#
- 1Değişiklik
Bileşenlerden biri değişir ve künye yeni bir bileşik kimlik üretir; kimliksiz değişiklik hatta giremez.
- 2Türev yeniden inşa
Etkilenen türetilmiş yapılar köken kaydına göre yeniden üretilir; tam mı artımlı mı olduğu değişikliğin türünden çıkar.
- 3Kapı
Regresyon, güvenlik ve biçim setleri koşar; sonuç sürüm kaydına yazılır, geçici bir çıktı olarak bırakılmaz.
- 4Aşamalı yayma
Gölge ya da kanarya ile sınırlı trafikte izlenir; sinyaller sürüm kırılımında okunur.
- 5Karar
Genişlet ya da geri al. Her iki karar da gerekçesiyle sürüm kaydına yazılır; kayıtsız karar bir sonraki sefere bilgi taşımaz.
Sık yapılan hata#
En sık görülen hata, geri alma yolunun yalnızca belgede var olmasıdır. Yazılmış ama hiç koşulmamış bir prosedür, ilk gerçek olayda eksik yetki, silinmiş eski yığın ya da elde olmayan önceki dizin yüzünden tıkanır. İkinci hata, geri almayı yalnızca uygulama katmanında düşünmektir: istem geri alınır ama dizin yeni sürümde kalır ve sistem hiç denenmemiş bir bileşimle çalışmaya devam eder.
LAB · UYGULAMALI ALIŞTIRMA
Kapıyı kurun ve geri alma tatbikatı yapın
- 1Gerçek isteklerinizden 20-30 örnek seçip regresyon seti yapın; kayıtlı isteğiniz yoksa sisteme sorulan tipik soruları elle yazın. Her örnek için doğru kabul edilen çıktının hangi özellikleri taşıması gerektiğini belirtin.
- 2Kapı ölçütlerini üçe ayırın: bloke eden sabit eşikler, uyarı üreten göreli eşikler ve yalnızca bilgilendiren ölçümler.
- 3Değerlendirmeyi aynı sürümle üç kez koşturup sonucun ne kadar oynadığını ölçün; eşikleri bu oynamanın dışına yerleştirin.
- 4Bilerek bozulmuş bir sürüm hazırlayın (örneğin istemden bir kısıtı çıkarın) ve kapının yakalayıp yakalamadığını kaydedin.
- 5Elle aşma yolunu tanımlayın: kim aşabilir, hangi alanlar zorunlu, kayıt nereye yazılır; bir kez aşıp örnek kaydı üretin.
- 6Sürümü geri alın ve künyedeki bileşenleri tek tek doğrulayın: istem, parametreler, araç şeması ve dizin önceki değerine döndü mü? En geç dönen bileşeni işaretleyin; sunum dersinde uçtan uca ölçtüğünüz süreyi belirleyen bileşen odur.
Beklenen çıktı
Bloke ve uyarı eşikleri ayrılmış bir değerlendirme kapısı, bir aşma kaydı örneği ve bileşen bileşen doğrulanmış bir geri alma künyesi ile geri dönüşü en çok geciktiren bileşenin adı.
Sık sorulan sorular
Kapı acil düzeltmeleri de bloke ediyor. Ne yapmalı?
Kapıyı kaldırmak yerine hızlı yolunu tanımlayın: yalnızca bloke eden sabit setler koşar, uzun kalite koşusu yayma sonrasına ertelenir. Ertelenen koşu zorunlu bir takip işi olarak kaydedilir. Ertelenen ama hiç koşulmayan değerlendirme, kapının hiç olmaması demektir.
Değerlendirme sonucu her koşuda biraz oynuyor. Eşiği nasıl koyarım?
Önce oynamayı ölçün: aynı sürümü birkaç kez koşturup sonucun kendi yayılımını çıkarın. Bloke eden eşik bu yayılımın dışında olmalı; yayılımın içine düşen eşik sürümü değil rastgeleliği ölçer. Yayılım kabul edilemeyecek kadar genişse, eşikten önce değerlendirmeyi kararlı hâle getirin.
Geri alma her zaman doğru hamle mi?
Hayır. Kalıcı kayıt yapısı ya da dış sistemlere yazılan veri değiştiyse geri alma yeni bir bozukluk üretebilir; bu durumda ileriye doğru düzeltme gerekir. Bu yüzden geri alınabilirlik bir sürüm özelliğidir: künyeye bu sürümün geri alınabilir olup olmadığı yazılır, alınamıyorsa nedeni belirtilir.
LEARN
MLOps Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.