Denetimli öğrenme ve değerlendirme metrikleri
Bir modelin ne öğrendiğini ve neyi ezberlediğini ayırt etmenin aracı veri bölünmesi ve metrik seçimidir. Ders sızıntı, sınıf dengesizliği ve eşik kararını iş maliyetine bağlar.
Önkoşul: Artificial Intelligence
BU DERSİN SONUNDA
- Eğitim, doğrulama ve test bölünmesini sızıntı üretmeyecek biçimde kurmak
- Kesinlik ve duyarlılık arasındaki ödünleşimi hata maliyetine bağlamak
- Sınıf dengesizliğinde doğruluk oranının neden yanıltıcı olduğunu göstermek
- Karar eşiğini metrik yerine beklenen maliyete göre seçmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Denetimli öğrenmede tek önemli soru, modelin görmediği veride nasıl davrandığıdır; veri bölünmesi bunu ölçmenin aracıdır. Metrik seçimi ise bir istatistik tercihi değil bir iş kararıdır: yanlış alarmın mı yoksa kaçırmanın mı daha pahalı olduğunu söylersiniz, metrik ve eşik ondan türer. Bu disiplin sonradan üretken sistemleri değerlendirirken de aynen geçerlidir.
Teori: genelleme neden zor#
Denetimli öğrenme, etiketli örneklerden girdi-çıktı eşlemesi kurmaktır. Yeterince kapasitesi olan her model, eğitim verisini ezberleyebilir; ezberleme ile öğrenmeyi ayıran şey modelin kendisi değil, ölçüm kurulumudur. Bu yüzden bölme bir formalite değil, sistemin ölçüm aletidir.
Üç bölümün üç ayrı işi vardır. Eğitim seti parametreleri uydurur. Doğrulama seti hiperparametre, model ailesi ve eşik gibi seçimleri yapar. Test seti raporlayacağınız hatayı tahmin eder ve tek kez kullanılır. Test setine bakıp bir şey değiştirdiğiniz anda test seti doğrulama setine dönüşmüştür; artık tarafsız bir tahmin değildir.
Sızıntı: en pahalı hata#
- Zamansal sızıntı: rastgele bölme, geleceği görmüş bir modeli ödüllendirir. Zamana bağlı problemlerde bölme tarihe göre yapılır.
- Grup sızıntısı: aynı müşterinin, aynı belgenin veya aynı cihazın kayıtları hem eğitimde hem testte. Bölme kayıt değil varlık bazında yapılmalıdır.
- Ön işleme sızıntısı: ölçekleme, doldurma veya sözlük istatistikleri tüm veri üzerinden hesaplanmış. Bu istatistikler yalnızca eğitim bölümünden çıkarılır.
- Hedef sızıntısı: bir özellik, hedefin sonucunda oluşan bilgiyi taşır (iptal tarihi, tahsilat notu, kapanış kodu). Eğitimde mükemmel, üretimde işe yaramaz.
- Yinelenen kayıt: aynı metin veya neredeyse aynı kayıt iki bölümde birden; ölçüm gerçeğin üstünde çıkar ve hata üretimde görünür.
Metrikler: hangi hata daha pahalı#
| Metrik | Neyi ölçer | Ne zaman öne alınır |
|---|---|---|
| Doğruluk | Tüm tahminlerdeki doğru oranı | Sınıflar dengeli ve iki hata tipinin maliyeti benzerken |
| Kesinlik | Pozitif dediklerinin ne kadarı gerçekten pozitif | Yanlış alarm pahalıysa: otomatik blokaj, uyarı yorgunluğu |
| Duyarlılık | Gerçek pozitiflerin ne kadarını yakaladın | Kaçırmak pahalıysa: güvenlik, uyum, tarama |
| F1 | Kesinlik ve duyarlılığın harmonik ortalaması | Tek sayı gerekiyorsa ve iki hata benzer ağırlıktaysa |
| Kesinlik-duyarlılık eğrisi altındaki alan | Eşikten bağımsız pozitif sınıf performansı | Pozitif sınıf seyrekse, eşik henüz seçilmemişken |
| Kalibrasyon | Model 0,8 dediğinde gerçekten onda sekiz oranında haklı mı | Çıktı bir eşiğe, sıralamaya veya beklenen değer hesabına besleniyorsa |
Sınıf dengesizliğinde doğruluk oranı sistematik olarak yanıltır. Bu örnekte pozitif sınıfın kayıtların yirmide biri olduğunu varsayalım: hiçbir zaman pozitif demeyen bir model doğrulukta yüzde doksan beşi bulur, duyarlılıkta sıfırda kalır. Bu yüzden her ölçüm raporunun ilk satırı taban modeldir: en sık sınıfı söyleyen aptal model. Modeliniz taban satırı geçmiyorsa metrik değil sistem tartışılmalıdır.
Eşik kararı#
- 1Hata maliyetini yaz
Yanlış pozitifin ve yanlış negatifin kuruma neye mal olduğunu aynı birimde (dakika, para, kaybedilen müşteri) ifade edin.
- 2Doğrulama setinde eğriyi çıkar
Eşiği adım adım tarayarak her eşik için kesinlik ve duyarlılığı birlikte tablolayın.
- 3Beklenen maliyeti en düşük eşiği seç
Metriği en yüksek olan eşiği değil, iki hata tipinin sayısı ile maliyetinin çarpımını en küçük yapan eşiği seçin.
- 4Test setinde bir kez doğrula
Seçilen eşiği dokunulmamış test setinde tek seferlik ölçün; raporlanacak sayı budur.
Bu disiplin üretken sistemlerde de geçerli#
Üretken bir sistemde “doğru cevap” bir etiket değil bir yargıdır, ama kurulum aynı kalır: değişmeyen bir değerlendirme seti, varlık bazında ayrılmış bölümler ve asimetrik hata maliyeti. Bir ayrıntı özellikle sık kaçar: isteme koyduğunuz örnekler o sistemin eğitim verisidir. Değerlendirme setinden örnek seçerseniz, ölçtüğünüz şey sistemin performansı değil kendi seçimlerinizin hatırasıdır.
Sık yapılan hata#
En pahalı hata, test setine karşı ayar yapmaktır. Aynı yirmi örneğe bakarak onlarca varyant denenir, en iyisi seçilir ve o sayı rapor edilir; oysa seçim sürecinin kendisi seti tüketmiştir. İkinci sık hata, bölmeyi kayıt bazında yapıp varlık bazında yapmamaktır: aynı müşterinin iki kaydı iki bölüme düştüğünde model, tanıdığı müşteriyi tanır ve ölçüm parlar.
LAB · UYGULAMALI ALIŞTIRMA
Eşik kararını maliyetle verin
- 1Elinizdeki etiketli bir sınıflandırma setini varlık bazında (müşteri, belge, cihaz) eğitim, doğrulama ve test olarak üçe bölün.
- 2Bölmeden sonra üç bölümdeki pozitif sınıf oranını ve yinelenen kayıt sayısını kontrol edin; yinelenenleri tek bölümde bırakın.
- 3En sık sınıfı söyleyen taban modelin doğruluk, kesinlik ve duyarlılığını hesaplayıp raporun ilk satırını yazın.
- 4Modelinizi eğitip doğrulama setinde eşiği 0,1 adımlarla tarayın; her eşik için kesinlik ve duyarlılığı tablolayın.
- 5Yanlış pozitif ve yanlış negatifin maliyetini aynı birimde yazıp her eşik için beklenen maliyeti hesaplayın.
- 6En düşük beklenen maliyetli eşiği test setinde bir kez ölçün ve taban satırla karşılaştırın.
Beklenen çıktı
Eşik, kesinlik, duyarlılık ve beklenen maliyet sütunlarını taşıyan bir tablo ile test setinde tek seferlik doğrulanmış, gerekçesi yazılı bir eşik kararı.
Sık sorulan sorular
Doğruluk oranım yüksek çıktı, bu neden yetersiz?
Sınıflar dengesizse doğruluk çoğunluk sınıfını söylemenin ödülüdür. Taban modeli hesaplayın: hiç pozitif demeyen model kaç alıyor? Modeliniz bu satırın ne kadar üstünde? Ayrıca doğruluk hangi hatayı yaptığınızı söylemez; kesinlik ve duyarlılığı ayrı raporlamadan eşik kararı verilemez.
Doğrulama setini çapraz doğrulama ile değiştirebilir miyim?
Evet, veri azken katmanlı k-kat çapraz doğrulama daha kararlı bir tahmin verir. Ancak katların da varlık bazında bölünmesi gerekir; yoksa sızıntıyı k kez tekrarlamış olursunuz. Test seti yine ayrı ve dokunulmamış durur.
Eşik seçimini modele bırakabilir miyim?
Model bir puan veya olasılık üretir; eşik bir iş kararıdır. Eşiği kodda tek yerde, gerekçesiyle ve sürümüyle tutun. Hata maliyeti değiştiğinde yeniden eğitim değil eşik güncellemesi gerekir; bu ayrım korunmazsa her maliyet değişikliği gereksiz bir eğitim döngüsüne dönüşür.
LEARN
Generative AI Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.