Değerlendirme planı ve sürüm kapısı
Bir yapay zekâ özelliğinin kalitesini üç ayrı küme üzerinde ölçmeyi ve ölçüm sonucunu geçti/geçmedi biçiminde bir sürüm kararına çevirmeyi öğretir. Ayar kümesi ile ölçüm kümesini ayırmanın neden zorunlu olduğunu gösterir.
Önkoşul: Evaluation
BU DERSİN SONUNDA
- Altın kümeyi, regresyon kümesini ve canlı örneklemi ayrı işlere ayırmak
- Ölçüm kümesini ayar kümesinden ayırarak sızıntıyı engellemek
- Hakem türünü görev tipine göre seçmek ve model hakemi insan örneklemiyle kalibre etmek
- Sürüm kapısını tek sayı yerine çoklu ölçütle yazmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Değerlendirme planı tek bir küme değil üç kümedir ve üçünün işi farklıdır: altın küme kaliteyi ölçer, regresyon kümesi geçmiş hataların geri dönmediğini kanıtlar, canlı örneklem ölçtüğünüz dağılımın gerçek kullanımı temsil ettiğini doğrular. Sürüm kararı bu üç kaynağın tek sayıya indirilmesiyle değil, her birinin ayrı ayrı geçmesi gereken bir kapıyla verilir.
Teori: üç küme, üç iş#
Altın küme elle etiketli, kompozisyonu bilinçle kurulmuş ve kapalı tutulan kümedir. İki parçası vardır: gerçek kullanımın dağılımını taklit eden ana gövde ve bilinçli toplanmış zor kuyruk. İkisi tek sayıda birleştirilmez, ayrı raporlanır; zor kuyruk ana gövdenin içinde eridiğinde tam olarak görünmesi gereken yerde görünmez olur.
Regresyon kümesi tasarımla büyür: üretimde görülen her gerçek hata, düzeltildikten sonra bir örnek olarak buraya eklenir. Bu kümenin metriği ortalama değil ihlal sayısıdır; hedefi de iyileşme değil gerilememe. Canlı örneklem üçüncü iştir: üretimden rastgele çekilen istekler elle incelenir ve altın kümenin dağılımıyla karşılaştırılır. Bu karşılaştırma yapılmazsa iyileşen metrik, gerçekte daralan bir dünyayı ölçüyor olabilir.
| Küme | İşi | Metrik | Yenilenme |
|---|---|---|---|
| Altın küme | Kaliteyi ölçmek | Kabul edilebilir çıktı oranı, dilim başına ayrı | Seyrek; değişirse sürümler karşılaştırılamaz |
| Zor kuyruk dilimi | Bilinen zayıflıkları izlemek | Aynı metrik, ayrı raporlanır | Yeni zayıflık bulundukça büyür |
| Regresyon kümesi | Geri dönen hatayı yakalamak | İhlal sayısı; hedef sıfır | Her gerçek hatadan sonra büyür |
| Canlı örneklem | Dağılımı doğrulamak | Elle incelenen örnekte kabul oranı | Her sürüm döneminde yeniden çekilir |
| Ayar kümesi | İstem ve akış denemesi | Serbest; sürüm kararında raporlanmaz | Sürekli; ölçüm kümesine karışmaz |
Kapalı küme neden kapalı#
Bir kümeyi göre göre istem ayarlarsanız, o küme artık kaliteyi değil ayar çabanızı ölçer. Mekanizma insanda da aynıdır: hata örneklerini tek tek okuyup her birine karşılık bir talimat cümlesi eklemek, kümede yükselen ama kümenin dışında yükselmeyen bir skor üretir. Bu yüzden ayar kümesi ile ölçüm kümesi baştan ayrılır ve ölçüm kümesi yalnızca sürüm kapısında açılır. Kümeyi kimin, hangi sürümde açtığı kayda geçer.
Hakem seçimi#
- Kural tabanlı doğrulayıcı: çıktı makinede kontrol edilebiliyorsa (şema uyumu, sayısal eşitlik, derlenme, testin geçmesi) ilk tercih budur; ucuz, tekrarlanabilir ve tartışmasızdır.
- İnsan etiketi: öznel kalite, ton ve alan doğruluğu için tek güvenilir kaynak; pahalı olduğu için etiketleme yönergesi ve iki etiketçi arasındaki uyumun kontrolü gerekir.
- Model hakem: insan etiketini ölçekleyen bir yaklaşım; kendi yanlılıklarını taşır, uzun cevabı veya kendi üslubuna yakın metni kayırabilir.
- Model hakem kullanılacaksa kalibrasyon zorunludur: aynı örneklerin bir alt kümesi insan tarafından da etiketlenir ve iki etiket arasındaki uyum raporlanır.
- Hakemi değiştirmek metriği değiştirir: hakem sürümü de ölçüm künyesinin parçasıdır.
Karar: sürüm kapısı#
- 1Kırmızı çizgileri yazın
Sayıyla ödünleşmeyen ihlaller: yetkisiz veriye erişim, yasak içerik, geri alınamaz eylemin onaysız çalışması. Tek ihlal sürümü durdurur.
- 2Gerileme kapısını koyun
Regresyon kümesinde ihlal sayısı artmayacak; artıyorsa sürüm değil düzeltme çıkar.
- 3Dilim bazlı taban koyun
Ortalama yükselirken tek bir dilim belirgin biçimde düşüyorsa kapı kapalıdır; ortalama dilim çöküşünü gizler.
- 4Kapsama sınırını yazın
Doğruluk artışı kapsama düşüşüyle satın alınmışsa bunu açıkça kabul edin veya reddedin; iki sayı birlikte raporlanır.
- 5Karar kaydını tutun
Hangi küme sürümü, hangi hakem, hangi tarih, kim onayladı. Kayıt yoksa sonraki sürüm karşılaştırılamaz.
Sık yapılan hata#
En sık hata, değerlendirmeyi tek bir sayıya indirip o sayıyı sürüm kapısı yapmak. Tek sayı ortalamadır, ortalama ise kırmızı çizgi ihlalini ve dilim çöküşünü eritir. İkinci hata kümeyi yayına yakın kurmak: küme geciktiğinde ilk sürüm kararı "bakınca iyi görünüyor" ile verilir ve sonraki her sürüm bu keyfî çizgiyle karşılaştırılır. Üçüncü hata, hakemi değiştirip yeni sayıları eski sayılarla yan yana koymak.
LAB · UYGULAMALI ALIŞTIRMA
Üç kümeli değerlendirme planını kurun
- 1Birinci bölümde yazdığınız girdi sınıflarını satır olarak alın ve her sınıf için gerçek isteklerden örnek toplayın; sınıf başına en az beş örnek hedefleyin.
- 2Örnekleri iki dosyaya ayırın: ayar dosyası ve ölçüm dosyası. Ölçüm dosyasının bir parçasını ayırıp "açılmayacak" diye işaretleyin.
- 3Her örneğin karşısına kabul ölçütünü yazın: makine kontrol edebiliyorsa kuralı yazın, edemiyorsa etiketleme yönergesini iki cümleyle yazın.
- 4Bilinen zayıflıklardan bir zor kuyruk dilimi kurun: çok uzun girdi, eksik bilgi, çelişkili talep, alan dışı soru ve içinde talimat taşıyan girdi.
- 5Mevcut sürümü ölçüm dosyasında bir kez koşturun ve sonucu iki ayrı satır olarak yazın: ana gövde ve zor kuyruk.
- 6Sürüm kapısını yazın: kırmızı çizgiler, gerileme kuralı, dilim tabanı ve kapsama sınırı. Her ölçütün yanına onaylayan kişiyi ekleyin.
Beklenen çıktı
Ayar ve ölçüm dosyası ayrılmış örnek kümesi, zor kuyruk dilimiyle birlikte alınmış ilk ölçüm ve yazılı sürüm kapısı.
Sık sorulan sorular
Küme kaç örnekten oluşmalı?
Sayı, ayırmak istediğiniz farkın büyüklüğüne bağlıdır: küçük farkları ayırmak daha çok örnek ister. Pratik yol, dilim başına örnek sayısını yeterli tutmak ve iki sürüm arasındaki farkın küme rastgeleliğinden büyük olduğunu aynı kümede tekrarlayarak kontrol etmektir. Kümeyi tek seferde büyük kurmaya çalışmak yerine dilim dilim büyütün.
Otomatik değerlendirme insan incelemesinin yerini tamamen alabilir mi?
Hayır. Kural tabanlı doğrulayıcı biçim ve doğrulanabilir gerçekler için yeterlidir; model hakem insan etiketini ölçekler ama onu üretmez. Her sürümde küçük bir örneklemin insan tarafından okunması, otomatik hakemin kaymadığını gösteren tek kanıttır.
Canlı örneklem için kullanıcı verisi kullanmak sorun değil mi?
İzin, saklama süresi ve erişim yetkisi tanımlanmadan kullanılmaz. Pratik düzen şudur: örneklem asgari alanla çekilir, kişisel veri incelemeden önce maskelenir, kimin neyi ne zaman gördüğü kayda geçer ve saklama süresi peşinen yazılır. Bu düzen kurulmadıysa canlı örneklem planın parçası sayılmaz.
LEARN
AI Product Manager rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.