Başarı tanımı ve kabul eşiği
İş metriği, ürün metriği ve model metriği arasındaki zinciri kurmayı ve kabul eşiğini hata maliyetinden türetmeyi öğretir. Zincirin nerede koptuğunu ve vekil metriğin ne zaman yanılttığını gösterir.
Önkoşul: Artificial Intelligence
BU DERSİN SONUNDA
- İş, ürün ve model metriklerini tek bir zincir olarak yazmak
- Kabul eşiğini yanlış pozitif ve yanlış negatif maliyet farkından türetmek
- Kapsama ile doğruluk arasındaki ödünleşimi ürün kararına çevirmek
- Vekil metriğin bozulduğu durumları önceden işaretlemek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Başarı tanımı tek metrik değil, üç halkalı bir zincirdir: iş metriği (kurumun umduğu sonuç), ürün metriği (kullanıcının davranışında görülen değişim) ve model metriği (çıktının kalitesi). Model metriği iyileşirken iş metriği yerinde duruyorsa zincir kopmuştur ve kopma noktası çoğu zaman ortadaki halkadır. Kabul eşiği ise ayrı bir karardır: teknik kapasiteden değil, iki hata türünün maliyet farkından türer.
Teori: üç halkalı zincir#
İş metriği kurumun cümlesidir: çözüm süresi, birim maliyet, dönüşüm, kapasite. Model metriği mühendisliğin cümlesidir: kabul edilebilir çıktı oranı, biçim uyumu, kaynak isabeti. Bu ikisi doğrudan birbirine bağlanmaz, çünkü aralarında bir insan davranışı vardır: kullanıcı çıktıyı gördü mü, güvendi mi, kullandı mı, ne kadar düzeltti? Ürün metriği tam olarak bunu ölçer ve zincirin taşıyıcı halkasıdır.
Zinciri yazmanın pratik faydası şudur: bir sürümden sonra iş metriği kıpırdamadıysa üç ayrı teşhis vardır ve üçü farklı iş gerektirir. Model metriği de yerinde duruyorsa sorun kalitededir. Model metriği iyileşmiş ama ürün metriği durağansa sorun güven, keşfedilebilirlik veya akıştadır. Ürün metriği de iyileşmiş ama iş metriği durağansa ya zincir varsayımı baştan yanlış kurulmuştur ya da kazanç başka bir yerde tüketiliyordur.
Bu yüzden başarı tanımı yazılırken üç halka aynı belgeye, aynı sırayla ve okla birbirine bağlı yazılır. Ok bir varsayımdır ve varsayım olarak etiketlenmelidir: "taslak kabul oranı yükselirse ilk yanıt süresi düşer" cümlesi ölçülecek bir iddiadır, kanıt değil.
Zincir nerede kopar#
| Katman | Örnek metrik | Kopma belirtisi | Kopunca yapılacak |
|---|---|---|---|
| İş metriği | Talep çözüm süresi | Ürün metriği iyileşti, bu durağan | Zincir varsayımını yeniden yazın |
| Ürün metriği | Taslağın düzeltilmeden gönderilme oranı | Model metriği iyileşti, bu durağan | Güven, akış ve keşfedilebilirliğe bakın |
| Model metriği | Kabul edilebilir çıktı oranı | Ölçüm kümesi gerçek dağılımı yansıtmıyor | Kümeyi yeniden örnekleyin |
| Kapsama | Modelin cevap verdiği istek oranı | Doğruluk yüksek ama kullanım düşük | Eşiği gevşetip devretme akışı ekleyin |
Kabul eşiği hata maliyetinden türer#
Eşik, bir çıktının "yeterince güvenilir" sayılıp akışta ilerlemesi için gereken sınırdır ve nereye konacağını iki hatanın maliyet farkı belirler. Yanlış pozitifin bedeli ağırsa — yanlış bir tutar onaylanıyor, yanlış bir müşteriye mesaj gidiyor — eşik yükseltilir; bunun karşılığı meşru isteklerin bir kısmının da elenmesidir. Yanlış negatifin bedeli ağırsa — kaçırılan dolandırıcılık, gözden kaçan güvenlik uyarısı — eşik düşürülür ve insan tarafındaki inceleme yükü artar. İki maliyet birbirine yakınsa bile eşik ortada değil, hangi tarafın yükünü taşıyabildiğiniz yerdedir.
- Eşiği "yüksek olsun" diye seçmek, ölçülmemiş bir aşırı reddetme maliyetini sessizce kabul etmektir.
- Tek eşik yerine girdi sınıfı başına eşik yazmak çoğu üründe daha isabetlidir.
- Modelin ürettiği güven puanı kalibre edilmemişse eşik anlamsızdır; kalibrasyon örneklem etiketlemesiyle kontrol edilir.
- Eşiğin karşılığı her zaman bir insan iş yüküdür; eşik değişikliği kapasite planına da girer.
Karar: başarı tanımını yazmak#
- 1İş metriğini tek cümlede yazın
Kurumun hangi sayısını hareket ettirmeyi hedeflediğinizi yazın; iki metrik yazmayın.
- 2Ürün metriğini seçin
Kullanıcının davranışındaki değişimi seçin: çıktının kullanılıp kullanılmadığını ölçmeli, memnuniyet beyanını değil.
- 3Model metriğini tanımlayın
Neyin kabul edilebilir sayıldığını, kimin karar verdiğini ve hangi kümede ölçüldüğünü yazın.
- 4Eşiği maliyetle gerekçelendirin
Yanlış pozitif ve yanlış negatif için bedeli kimin ödediğini yazın; eşik cümlesini bu iki cümleden türetin.
- 5Temel çizgi ve karar tarihi koyun
Üç metriğin bugünkü değerini ölçün; ölçülemiyorsa hedef yazmadan önce ölçümü kurun.
Sık yapılan hata#
En yaygın hata, hedefi yalnızca "doğruluk şu düzeyde olsun" diye yazmak. Bu cümle üç soruyu boş bırakır: hangi kümede, kimin etiketine göre, hangi girdi sınıfında? Aynı model, dağılımı farklı iki kümede birbirinden çok farklı görünür. İkinci yaygın hata vekil metriğe fazla yüklenmek: beğeni oranı, oturum süresi veya çıktı uzunluğu gibi ölçmesi kolay vekiller hedef ilan edildiğinde doğrudan optimize edilir ve temsil ettikleri şeyi temsil etmeyi bırakırlar.
LAB · UYGULAMALI ALIŞTIRMA
Metrik zincirini ve eşik gerekçesini yazın
- 1İkinci bölümde daralttığınız senaryoyu alın ve üç satırlık bir tablo açın: iş metriği, ürün metriği, model metriği.
- 2Her satıra tek bir metrik yazın ve yanına bugünkü değerini koyun; değer bilinmiyorsa "ölçüm yok" yazıp nasıl ölçüleceğini tek cümleyle ekleyin.
- 3Halkaları birbirine bağlayan varsayımları ok cümlesi olarak yazın: "ürün metriği şu yönde değişirse iş metriği şu yönde değişir".
- 4Senaryodaki iki hata türünü adlandırın; her biri için bedeli kimin ödediğini ve geri alınabilir olup olmadığını yazın.
- 5Bu iki cümleden eşik kararını türetin: eşik yukarı mı aşağı mı gidiyor ve karşılığında hangi yükü kabul ediyorsunuz.
- 6Belgeyi hata maliyetini taşıyan ekibe okutun; itiraz ettikleri satırı ölçüm yapılana kadar hedefsiz bırakın.
Beklenen çıktı
Üç halkalı metrik zinciri, halkalar arası varsayım cümleleri ve maliyetle gerekçelendirilmiş tek bir eşik kararı.
Sık sorulan sorular
Model metriği ile ürün metriği aynı şey olamaz mı?
Nadiren olur ve olduğunda da tesadüftür. Model metriği çıktının kendisine bakar, ürün metriği çıktıyla ne yapıldığına. Kullanıcı iyi bir taslağı fark etmediği için kullanmıyorsa iki metrik zıt yönde hareket eder; bu ayrım kaybolursa teşhis imkânı da kaybolur.
Kapsamayı düşürmek ölçümü kayırmak değil mi?
Açıkça yazıldığı sürece değil; modelin emin olmadığı isteklerde devretmesi, yanlış cevap vermesinden iyidir ve meşru bir ürün kararıdır. Kayırma, kapsamayı düşürüp yalnızca doğruluğu raporlamaktır: iki sayı her zaman birlikte yazılır.
Temel çizgi hiç yoksa hedef yazmadan mı başlanır?
Hedef yazmadan başlanabilir, ölçüm kurmadan başlanamaz. İlk sürümün açık amacı temel çizgiyi üretmek olabilir; bu durumda kabul belgesi hedef değeri değil, ölçümün kurulacağı tarihi ve yöntemi taahhüt eder.
LEARN
AI Product Manager rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.