Değerlendirme seti bir varlık değil, bir bakım borcudur

Tez#

Değerlendirme seti kurmak ekiplerde bir dönüm noktası olarak yaşanıyor ve haklı olarak: öncesinde kalite tartışması izlenimlerle yürüyor, sonrasında bir sayıyla. Bu geçiş gerçek bir olgunlaşma.

Sorun, geçişin bir varış gibi ele alınması. Set kuruldu, pano açıldı, iş bitti. Oysa bir değerlendirme seti statik bir varlık değil; ürünün bir anındaki görüntüsü. Ürün o andan itibaren değişiyor ve set değişmiyorsa aradaki mesafe her hafta açılıyor. Üç ay sonra pano hâlâ yeşil ama ölçtüğü şey ürünün bugünkü kullanımı değil, üç ay önceki hâli. Bu durumda pano bir güvence değil bir yanılsama üretiyor — ve yanılsamanın maliyeti, hiç ölçmemekten yüksek çünkü ekip ölçtüğünü sanıyor.

Bağlam: setin bozulma yolları#

Bozulma tek bir mekanizmayla olmuyor. Dört farklı yol var ve her birinin belirtisi farklı; belirtileri tanımak müdahaleyi de belirliyor.

İkinci satırdaki doygunluk en yanıltıcı bozulma. Skorların tepeye yerleşmesi başarı gibi okunuyor ama gerçekte setin ayrıştırma gücünü yitirdiğini gösteriyor. Bu noktadan sonra iki model arasında karar veremiyorsunuz; ikisi de tam puan alıyor. Doygun bir set artık bir ölçü değil, bir onay mekanizması.

Kanıt: bakım döngüsünün asgari hâli#

Bakım, sürekli bir uğraş olmak zorunda değil; dönemsel ve sınırlı bir iş olarak kurulabiliyor. Aşağıdaki döngü, bir ekibin ayda bir günde yapabileceği asgari bakım.

• Gerçek isteklerden örnekleme: son dönemin isteklerinden rastgele bir küme çekip sette karşılığı olup olmadığına bakın. Karşılığı olmayanlar kapsam boşluğu.
• Şikâyet kaynaklı ekleme: kullanıcı şikâyeti gelen her koşu sete adaydır. Bu, seti gerçek hata dağılımına yaklaştıran en ucuz yol.
• Zorluk dağılımını kontrol etme: setin ne kadarı tam puanla geçiliyor? Yüzde doksanın üzerindeyse ayrıştırma gücü bitmiş.
• Etiket gözden geçirme: ürün kuralları değiştiyse beklenen çıktılar da değişmiş olabilir. Değişen kural başına etkilenen örnekler taranmalı.
• Kapalı tutma disiplini: setin tamamı hiçbir yere kopyalanmaz, istem içine girmez, hata ayıklama ekranında görünmez.
• Sürüm damgası: her koşu hangi set sürümüyle yapıldığı kaydedilir. Sürüm bilinmeyen skorlar karşılaştırılamaz.

Altıncı madde en çok gözden kaçan ve en çok kafa karışıklığı üreten. Set değiştikçe skorlar da değişiyor; sürüm damgası yoksa "model mi kötüleşti, set mi zorlaştı" sorusu cevaplanamıyor. Pratikte bu, ekiplerin gerçek bir regresyonu set değişikliğine, gerçek bir set değişikliğini regresyona bağlamasına yol açıyor. Damga bir satırlık bir alan ve bu karışıklığı tümden ortadan kaldırıyor.

Mekanizma: neden sızma kaçınılmaz#

Sızma genellikle bir ihmal olarak anlatılıyor ama yapısal bir baskı altında gerçekleşiyor: değerlendirme örnekleri, hata ayıklamanın en yararlı malzemesi.

Bir örnek başarısız olduğunda ekibin ilk isteği o örneği yakından incelemek, istemi ona göre düzeltmek ve düzelttiğini doğrulamak. Bu döngü her tekrarında seti biraz daha eğitim verisine dönüştürüyor — model değişmiyor ama istem, set örneklerine uyacak şekilde şekilleniyor. Sonuç, klasik aşırı uydurmanın istem düzeyindeki hâli: sette mükemmel, sahada değişmemiş bir kalite. Bu yüzden ciddi bir kurulum iki küme gerektiriyor: geliştirme sırasında incelenen bir çalışma kümesi ve hiç açılmayan bir tutma kümesi. Tutma kümesi yalnızca yayın kararı öncesinde koşuluyor ve sonucu tartışılıyor, örnekleri tartışılmıyor.

Karşı görüş#

İki itiraz yerinde. Birincisi: küçük bir ekip için bu bakım yükü gerçekçi değil; set kurmak bile zor, bakımı hiç yapılamaz. İkincisi: set değişirse zaman içindeki karşılaştırma bozulur — sabit bir set, tarihsel kıyas için gereklidir.

Seti altı ay dondurduk ki karşılaştırma bozulmasın. Sonunda pano gerçek kullanımın hiçbir şeyini ölçmüyordu; kullanıcılar tümüyle farklı şeyler soruyordu ve biz eski soruların skorunu izliyorduk.

Birinci itiraz doğru ve cevabı ölçeği küçültmek: elli örneklik bakılan bir set, beş yüz örneklik bakılmayan bir setten iyi. Bakım yükü örnek sayısıyla artıyor, dolayısıyla küçük ekip küçük set tutmalı ve yükü sürdürülebilir kılmalı. İkinci itiraz gerçek bir gerilim ve çözümü sürümleme: set değişince eski sürüm arşivlenip tarihsel kıyas için saklanıyor, yeni sürüm güncel kullanımı ölçüyor. İki amaç tek sette birleştirilemiyor — biri geçmişle kıyas, öteki bugünü ölçmek. Setin dondurulması ikinci amacı feda ediyor ve alıntıdaki sonuca götürüyor.

Sınırlar ve belirsizlik#

Bu analiz bir set büyüklüğü ya da bakım sıklığı önermiyor; ikisi de ürüne bağlı.

• Doğru sıklık belirsiz: ürünün değişim hızına bağlı; haftalık değişen bir ürün aylık bakımla yetinemiyor.
• Doygunluk eşiği editoryal: yüzde doksan bir kural değil, ayrıştırma gücünün bittiğini gösteren pratik bir işaret.
• Sızmanın etkisi ölçülemiyor: bir setin ne kadar sızdığını içeriden ölçmenin güvenilir bir yolu yok.
• Tutma kümesi disiplini kurumsal: teknik bir kontrolle değil, ekip kültürüyle korunuyor ve bu kırılgan.

Sonuç#

Değerlendirme seti bir varlık değil bir borç: kurulduğu anda faiz işlemeye başlıyor. Kapsam kayıyor, set doyuyor, örnekler sızıyor, etiketler çürüyor. Bunların hiçbiri kötü mühendisliğin sonucu değil — ürünün yaşamasının sonucu.

Pratik ölçü şu: panonuz son bir ayda kaç kez değişti? Hiç değişmediyse iki olasılık var — ya ürün hiç değişmedi ya da pano ürünü izlemiyor. İkincisi çok daha muhtemel. Bakımı sürdürülebilir tutmanın yolu seti küçültmek, iki küme kurmak ve her koşuya sürüm damgası basmak. Üçü bir günlük iş ve panoyu bir yanılsamadan bir ölçüye çeviriyor.

Ne yapmalı?#

1. 1Seti küçültün ama bakın

   Elli örneklik bakılan set, beş yüz örneklik bakılmayan setten iyi. Bakım yükü örnek sayısıyla artıyor.

2. 2İki küme kurun

   Geliştirmede incelenen çalışma kümesi ve hiç açılmayan tutma kümesi. İkincisi yalnızca yayın kararında koşulur.

3. 3Gerçek isteklerden düzenli örnekleyin

   Sette karşılığı olmayan istekler kapsam boşluğu. En ucuz bakım adımı bu.

4. 4Şikâyetleri sete taşıyın

   Şikâyet gelen her koşu sete aday. Seti gerçek hata dağılımına yaklaştırır.

5. 5Doygunluğu izleyin

   Örneklerin yüzde doksanı tam puan alıyorsa set artık ölçü değil onay mekanizması.

6. 6Her koşuya set sürümü damgalayın

   Sürüm yoksa "model mi kötüleşti set mi zorlaştı" sorusu cevaplanamaz.