Model açıklamalarını doğru okumak
Küresel özellik önemi, kısmi bağımlılık ve yerel açıklamaların hangi soruyu cevapladığını, hangi varsayıma yaslandığını ve nerede yanıltıcı olduğunu öğretir.
Önkoşul: Machine Learning, Evaluation
BU DERSİN SONUNDA
- Küresel önem, etki eğrisi ve yerel açıklama sorularını birbirinden ayırt etmek
- Dahili ağaç önemi ile permütasyon önemi arasındaki farkı gerekçelendirmek
- Kısmi bağımlılık eğrisini gözlem yoğunluğuyla birlikte okumak
- Yorumlanabilirlik çıktılarını veri sızıntısı teşhisinde kullanmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Yorumlanabilirlik araçları modelin ne kadar iyi olduğunu değil, hangi gerekçeyle karar verdiğini sorar. Üç ayrı soruyu karıştırmayın: hangi değişken modelin çıktısını en çok değiştiriyor (küresel önem), bir değişken değişince tahmin nasıl kayıyor (etki eğrisi), bu tek tahmin neden böyle çıktı (yerel açıklama). Üçü farklı araç ister ve hiçbiri nedensellik vermez — hepsi modelin öğrendiğini açıklar, dünyanın nasıl işlediğini değil.
Teori: önem tek bir şey değil#
Ağaç tabanlı modellerin dahili önem çıktısı, bölünmelerdeki saflık kazancının toplamıdır. Hesaplanma biçimi gereği çok bölünme noktası sunan değişkenlere kayar: sürekli değişkenler ve yüksek kardinaliteli kategorikler, salt daha çok bölme fırsatı sundukları için öne çıkar. Üstelik eğitim verisinden hesaplanır; modelin genellemesi hakkında hiçbir şey söylemez.
Permütasyon önemi bu iki sorunu da azaltır: doğrulama kümesinde bir sütunun değerlerini karıştırıp metrikteki düşüşü ölçer. Model ailesinden bağımsızdır ve tanımı açıktır. Ama kendi varsayımı vardır: iki değişken güçlü korelasyonluysa biri karıştırıldığında bilgi diğerinden akmaya devam eder ve ikisi de önemsiz görünür. Ayrıca karıştırma, gerçekte hiç görülmeyen değer kombinasyonları üretir; model o bölgede ekstrapolasyon yapar.
Üç soru, üç araç#
| Soru | Araç | Ne verir | Sınırı |
|---|---|---|---|
| Hangi değişken modele en çok katkı yapıyor? | Doğrulama kümesinde permütasyon önemi | Metrik düşüşüne göre sıralama | Korelasyonlu gruplarda önem dağılır, ikisi de sönük görünür |
| Değişken arttıkça tahmin nasıl değişiyor? | Kısmi bağımlılık eğrisi | Ortalama etki eğrisi | Etkileşim varsa ters yönlü etkiler ortalamada birbirini yer |
| Bu eğri her gözlem için aynı mı? | Bireysel koşullu beklenti eğrileri | Gözlem başına ayrı eğri | Çok gözlemde okunmaz olur; örneklem gerekir |
| Bu tek tahmin neden böyle çıktı? | Yerel katkı ayrıştırması | Özellik başına katkı payı | Katkı neden değildir; korelasyonu paylaştırma varsayımına bağlıdır |
| Model kabaca hangi kuralları öğrenmiş? | Yedek (surrogate) basit model | Yaklaşık kural seti | Yalnızca yedek modelin uyumu yüksekse anlamlı |
Kısmi bağımlılığın gizli varsayımı#
Kısmi bağımlılık eğrisi, ilgilendiğiniz değişkeni bir ızgara üzerinde sabitler, diğer değişkenleri veri dağılımından alır ve tahminleri ortalar. Bu, sabitlenen değişkenin diğerlerinden bağımsız olduğunu varsayar. Metrekare ile oda sayısı güçlü korelasyonluysa eğri, küçük metrekare ile çok oda gibi gerçekte var olmayan kombinasyonları modele sorar; eğrinin o bölümü veriyi değil modelin ekstrapolasyonunu gösterir. Biriktirilmiş yerel etkiler yaklaşımı, etkiyi dar aralıklarda ve yerel farklar üzerinden hesaplayarak bu sorunu azaltır.
Yerel açıklamayı kim okuyacak#
Yerel açıklamanın tasarımı, onu kimin okuyacağına göre değişir. Analist teşhis için bakıyorsa katkı sıralaması işe yarar: beklenmedik bir özelliğin baskın çıkması hata avının başlangıcıdır. Ama karar öznesine gerekçe sunuluyorsa katkı sıralaması yetmez, çünkü eylem üretmez. "Gelir değişkeni negatif katkı yaptı" cümlesi kimseye ne yapacağını söylemez; "bu alan şu eşiğin üstünde olsaydı sonuç değişirdi" biçimindeki karşı olgusal ifade söyler.
Karar akışı#
- 1Soruyu adlandır
Model teşhisi mi, paydaş ikna mı, bireysel itiraz mı? Üçü farklı çıktı ve farklı doğruluk standardı ister.
- 2Küresel resmi çıkar
Doğrulama kümesinde permütasyon önemini, değişkenler arası korelasyon kümeleriyle birlikte okuyun.
- 3Şüpheliyi derinleştir
Öne çıkan değişken için bireysel eğrileri ve ortalamalarını birlikte çizin, altına gözlem yoğunluğunu koyun.
- 4Tek tahmine in
Yerel katkıyı yalnızca gerektiğinde üretin; eylem gerekiyorsa katkı yerine karşı olgusal senaryo yazın.
Sık yapılan hata#
En yaygın hata, yüksek önemi nedensel etki sanmaktır: "kampanya değişkeni önemli çıktı, demek ki kampanya satışı artırıyor". Model korelasyonu öğrenir; kampanyanın zaten satın alacak müşterilere gönderilmiş olması da tam olarak bu görüntüyü verir. İkinci yaygın hata, açıklamaya bakıp sızıntıyı kaçırmaktır: beklenmedik biçimde baskın bir değişken çoğu zaman hedefin geleceğinden sızan bir sütundur.
LAB · UYGULAMALI ALIŞTIRMA
Önem sıralamasını çıkarma denemesiyle sınayın
- 1Eğittiğiniz ağaç tabanlı modelin dahili özellik önemini ve doğrulama kümesinde hesapladığınız permütasyon önemini tek tabloda yan yana yazın.
- 2İki sıralamanın en çok ayrıştığı üç değişkeni işaretleyin; her biri için benzersiz değer sayısını ve diğer değişkenlerle korelasyonunu not edin.
- 3En üstteki iki değişken için bireysel koşullu beklenti eğrilerini çizin, ortalamalarını üzerine koyun ve eksenin altına gözlem histogramını ekleyin.
- 4Ayrışan değişkenlerden birini veri setinden tamamen çıkarıp modeli aynı bölmeyle yeniden eğitin ve doğrulama metriğindeki değişimi yazın.
- 5Metrik neredeyse hiç düşmediyse değişkeni "ilişkili ama gereksiz", belirgin düştüyse "taşıyıcı" olarak etiketleyin ve gerekçeyi tek paragrafta kaydedin.
- 6Taşıyıcı çıkan değişken için tahmin anında gerçekten mevcut olup olmadığını veri hattından doğrulayın; emin değilseniz sızıntı şüphesi olarak not düşün.
Beklenen çıktı
Dahili ve permütasyon önem sıralamalarının karşılaştırıldığı, ayrışan değişkenlerin çıkarma denemesiyle sınandığı ve sızıntı şüphelerinin işaretlendiği kısa bir yorumlanabilirlik notu.
Sık sorulan sorular
Yerel katkı değerleri nedensel etki verir mi?
Hayır. Katkı ayrıştırması, modelin bu gözlem için ürettiği tahmini özelliklere paylaştırır; paylaştırma kuralı da korelasyonlu özelliklerde varsayıma dayanır. Nedensel bir iddia için müdahale, deney veya açık bir nedensel model gerekir.
Doğrusal model kullanırsam yorumlanabilirlik sorunu biter mi?
Hayır, yalnızca yer değiştirir. Korelasyonlu değişkenlerde katsayılar kararsızdır: küçük bir veri değişikliği işaret bile değiştirebilir. Ayrıca katsayı ölçek ve kodlama seçimine bağlıdır. Yorumlanabilir bir model, doğru yorumlandığı anlamına gelmez.
Permütasyon önemini eğitim kümesinde hesaplayabilir miyim?
Hesaplayabilirsiniz ama aşırı uyumu ödüllendirir: model eğitim setinde gürültüyü ezberlediği bir sütuna güveniyorsa o sütun önemli görünür. Genelleme hakkında konuşmak istiyorsanız doğrulama veya test kümesinde hesaplayın.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.