DEĞERLENDİRME · İleri
Değerlendirme Testi — İleri
Hata kaynağını izole etme, puanlayıcı uyumu, regresyon süiti kurgusu ve vekil metrik muhakemesini üretim koşullarında ölçen test.
- Soru
- 6
- Süre
- 15 dk
- Ölçülen beceri
- 4
- Seviye
- İleri
Kimler çözmeli?
Üretimde çalışan bir yapay zekâ sisteminin kalite hattını kuran mühendis ve araştırmacılar için; değerlendirme temelini bilmek gerekir.
Ölçülen beceriler
- Hata taksonomisi
- Puanlayıcı uyumu
- Regresyon tasarımı
- Vekil metrik muhakemesi
Testi çöz
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alan önerisi alırsın.
6 soruluk testi çözmeye hazır mısın?
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alanlar için öneri alırsın.
Bu test neyi ölçüyor?
Test sonrası ne bildiğini değil, hangi beceride eksik olduğunu görürsün.
- 01
Zincirli bir sistemde hatanın kaynağını izole etmek
- 02
Mutlak skorlama ile ikili karşılaştırma arasında seçim yapmak
- 03
Vekil metriğin gerçek sonucu temsil ettiği sınırı gerekçelendirmek
Sorular sayfada görünür
Eğitim içeriği JavaScript arkasına gizlenmez. Aşağıdaki üç örnek soru, doğru cevapları ve açıklamalarıyla birlikte taranabilir durumdadır.
- Soru 01degerlendirme-ileri-1Bileşen atfı · İleri · Hata taksonomisi
Geri getirme, yeniden sıralama ve üretim adımlarından oluşan bir yanıt hattında son yanıtın yanlış olduğu görüldü. Hatanın hangi adımdan geldiğini izole etmenin en doğrudan yolu nedir?
- AÜretim adımının istem metnini yeniden yazıp son skorun değişip değişmediğine bakmak
- BGeri getirme adımının döndürdüğü belge sayısını artırıp son skoru yeniden ölçmek
- CSon yanıtları bir model yargıca puanlatıp düşük puanlı örnekleri ayrı incelemek
- DHer adımın ara çıktısını kaydedip doğru bağlamın üretime ulaşıp ulaşmadığını denetlemek
Açıklama
Doğru belge hiç getirilmediyse sorun geri getirmede, getirildiği hâlde kullanılmadıysa üretimdedir; bunu ayırmanın yolu ara çıktıları kaydedip adım adım denetlemektir. Belge sayısını artırmak bazen skoru düzeltir ama hangi adımın bozuk olduğunu söylemez, yalnızca belirtiyi bastırır.
Retrieval-Augmented Generation girdisini oku - Soru 02degerlendirme-ileri-2Puanlayıcı uyumu · İleri · Puanlayıcı uyumu
İki insan puanlayıcının aynı yanıtlara verdiği notlar sık sık çelişiyorsa, bir model yargıcı bu etiketlerle kalibre etmeye geçmeden önce yapılması gereken nedir?
- APuanlayıcı sayısını artırıp notların ortalamasını referans kabul etmek
- BAnlaşmazlık yaratan durumları örnekle karara bağlayan bir ölçüt yazmak
- CÇelişkili örnekleri kümeden çıkarıp kalan örneklerle kalibrasyona geçmek
- DModel yargıcın notlarını insan ortalamasına doğrusal olarak ölçeklemek
Açıklama
İnsanlar arasında uyum düşükse hedef tanımı belirsizdir; belirsiz hedefe kalibre edilen yargıç, gürültüyü öğrenir. Puanlayıcı sayısını artırmak dağılımı yumuşatır ve bu yüzden çekicidir ama ölçütteki muğlaklığı ortadan kaldırmaz, yalnızca gizler.
Evaluation girdisini oku - Soru 03degerlendirme-ileri-3İkili karşılaştırma · İleri · Puanlayıcı uyumu
Birbirine yakın kalitedeki iki yanıt biçemi arasında hangisinin tercih edildiğini ölçmek için mutlak puan yerine ikili karşılaştırma seçilmesinin gerekçesi nedir?
- APuanlayıcıların ölçeği farklı yorumlaması sorununu kaldırıp yön kararı sorması
- BKarşılaştırmanın, yanıtların hangi ölçütte zayıf kaldığını da doğrudan bildirmesi
- CKarşılaştırma sonucunun yayın kabul eşiği olarak doğrudan kullanılabilmesi
- DKarşılaştırmanın her yanıt için mutlak bir kalite düzeyi de üretmesi
Açıklama
Yakın kalitede yanıtlarda mutlak notların farkı, puanlayıcıların ölçeği nasıl yorumladığına boğulur; "hangisi daha iyi" sorusu bu gürültüyü büyük ölçüde eler. Karşılaştırmanın zayıflık teşhisi de verdiği seçeneği çekici kılan şey pratikte not yanında yorum toplanmasıdır, ama yöntemin kendisi yalnızca yön verir, gerekçe vermez.
Evaluation girdisini oku
Skor nasıl okunur?
AI Curious
0–35
Kavramları duymuş, henüz haritası yok.
AI Explorer
36–60
Temelleri biliyor, uygulamada boşluklar var.
AI Practitioner
61–80
Uygulama kurabiliyor, değerlendirme eksik.
AI Builder
81–100
Üretim sistemi kurabiliyor ve ölçebiliyor.
Ölçmeye devam et
- DeğerlendirmeDeğerlendirme Testi6 soru · 10 dk
- DeğerlendirmeDeğerlendirme Testi — Başlangıç6 soru · 8 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — İleri6 soru · 15 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — Orta6 soru · 12 dk
- GözlemlenebilirlikGözlemlenebilirlik Testi — İleri6 soru · 15 dk
- GözlemlenebilirlikGözlemlenebilirlik Testi — Orta6 soru · 12 dk
LEARN
Eksik çıkan beceriyi kapat
Test sonucun beceri grafiğine işlenir; sistem hangi dersle devam etmen gerektiğini söyler.