İçeriğe atla
SinaptikLabAI KNOWLEDGE PLATFORM

YORUMLANABİLİRLİK · İleri

Yorumlanabilirlik Testi — İleri

Bir açıklamanın modelin gerçek hesaplamasını yansıtıp yansıtmadığını sınama, atıf yöntemlerini denetleme ve müdahale bulgularını yorumlama yetkinliğini ölçen test.

Soru
6
Süre
15 dk
Ölçülen beceri
4
Seviye
İleri

Kimler çözmeli?

Model denetimi, güvenlik ya da uyum tarafında çalışan ve temel yorumlanabilirlik yöntemlerini daha önce uygulamış okurlar için.

Ölçülen beceriler

  • Yöntem seçim gerekçesi
  • Nedensellik doğrulaması
  • Açıklama güvenilirliği
  • Ölçüm tasarımı
01ÇÖZ

Testi çöz

Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alan önerisi alırsın.

6 soruluk testi çözmeye hazır mısın?

Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alanlar için öneri alırsın.

Sonuç anonim olarak kaydedilir: yalnızca puan ve beceri kırılımı; kimlik bilgisi tutulmaz.
02HEDEFLER

Bu test neyi ölçüyor?

Test sonrası ne bildiğini değil, hangi beceride eksik olduğunu görürsün.

  • 01

    Makul görünen bir açıklamayı sadık bir açıklamadan ayırt etmek

  • 02

    Bir atıf ya da sonda bulgusunu nedensel müdahaleyle doğrulamak

  • 03

    Denetim gereksinimine uygun açıklama biçimini gerekçelendirmek

03ÖRNEK SORULAR

Sorular sayfada görünür

Eğitim içeriği JavaScript arkasına gizlenmez. Aşağıdaki üç örnek soru, doğru cevapları ve açıklamalarıyla birlikte taranabilir durumdadır.

  1. Soru 01yorumlanabilirlik-ileri-1Açıklama sadakati · İleri · Açıklama güvenilirliği

    Bir modelin ürettiği adım adım gerekçe metninin, kararı gerçekten üreten hesaplamayı yansıttığını sınamak için hangi tasarım en güçlü kanıtı verir?

    • AGerekçe metnini uzman değerlendiricilere okutup makullük puanı toplamak ve eşik üstünü sadık saymak
    • BCevabı değiştiren gizli bir ipucu girdiye eklenip gerekçenin bunu anmadığı durumları saymak
    • CGerekçe adımlarını çoğaltan bir istem yazıp genel doğruluk oranındaki artışı raporlamak
    • DAynı soruyu farklı örnekleme sıcaklıklarıyla sorup gerekçeler arası sözcük örtüşmesini ölçmek

    Açıklama

    Sadakat sınaması, gerekçenin kararı üreten hesaplamayı yansıtıp yansıtmadığını sorar; cevabı değiştirdiği bilinen bir ipucunun gerekçede hiç anılmaması bu bağın koptuğunu gösterir. Değerlendiricilerden makullük puanı toplamak ise metnin ikna ediciliğini ölçer, kararın gerçek nedenini görmez.

    Chain-of-Thought girdisini oku
  2. Soru 02yorumlanabilirlik-ileri-2Öznitelik atfı · İleri · Nedensellik doğrulaması

    Bir öznitelik atfı yönteminin çıktısının gerçekten modele bağlı olduğunu göstermek için hangi denetim uygulanır?

    • AAğırlıklar rastgeleleştirildiğinde atıf haritasının belirgin biçimde değişmesini beklemek
    • BAtıf haritasının insan bakış verisiyle örtüşme oranını ölçüp yüksek örtüşmeyi geçerlilik saymak
    • Cİki farklı atıf yönteminin aynı girdi için benzer harita üretmesini geçerlilik ölçütü saymak
    • DEtiketleri karıştırıp yeniden eğitilen modelin doğruluk kaybını atıf kalitesi göstergesi saymak

    Açıklama

    Ağırlıklar rastgeleleştirildiğinde harita büyük ölçüde değişmiyorsa yöntem modelden değil girdinin kenar yapısından besleniyor demektir. İnsan bakışıyla örtüşme yüksek çıksa bile bu, haritanın modele bağlı olduğunu göstermez; iki ölçüt farklı şeyleri sınar.

    Evaluation girdisini oku
  3. Soru 03yorumlanabilirlik-ileri-3Sondalama sınıflandırıcıları · İleri · Ölçüm tasarımı

    Gizli temsillerden bir dilbilgisi özelliğini yüksek doğrulukla okuyabilen sonda sınıflandırıcı, o özelliğin çıktıyı etkilediğini kanıtlamaz. Bu boşluğu kapatan ek kanıt hangisidir?

    • ASondayı daha büyük bir veri kümesinde yeniden eğitip doğruluğun daha da yükseldiğini göstermek
    • BSonda olarak doğrusal model yerine çok katmanlı bir ağ kullanıp doğruluk kazancını raporlamak
    • CÖzellik yönünü temsilden çıkarıp modelin çıktısının öngörülen yönde değiştiğini göstermek
    • DAynı sondayı rastgele başlatılmış bir modele uygulayıp doğruluğun belirgin düştüğünü göstermek

    Açıklama

    Temsilde bir bilginin bulunması onun çıktıyı etkilediğini göstermez; ilgili yönü kaldırıp çıktının öngörülen biçimde kaydığını görmek nedensel bağı kurar. Rastgele başlatılmış modelle karşılaştırma bilginin eğitimle kazanıldığını gösterir, kullanıldığını göstermez.

    Neural Networks girdisini oku
04SONUÇ

Skor nasıl okunur?

  • AI Curious

    0–35

    Kavramları duymuş, henüz haritası yok.

  • AI Explorer

    36–60

    Temelleri biliyor, uygulamada boşluklar var.

  • AI Practitioner

    61–80

    Uygulama kurabiliyor, değerlendirme eksik.

  • AI Builder

    81–100

    Üretim sistemi kurabiliyor ve ölçebiliyor.

LEARN

Eksik çıkan beceriyi kapat

Test sonucun beceri grafiğine işlenir; sistem hangi dersle devam etmen gerektiğini söyler.