DEĞERLENDİRME · Orta
Değerlendirme Testi
Görev seti kurma, kısmi başarı puanlama, LLM yargıcı yanlılığı, regresyon ve benchmark okuryazarlığını ölçen test.
- Soru
- 6
- Süre
- 10 dk
- Ölçülen beceri
- 4
- Seviye
- Orta
Kimler çözmeli?
Üretimde dil modeli çalıştıran her ekip.
Ölçülen beceriler
- Ölçüm tasarımı
- Regresyon
- İzleme
- Ölçüm okuryazarlığı
Testi çöz
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alan önerisi alırsın.
6 soruluk testi çözmeye hazır mısın?
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alanlar için öneri alırsın.
Bu test neyi ölçüyor?
Test sonrası ne bildiğini değil, hangi beceride eksik olduğunu görürsün.
- 01
Kendi görev setini gerçek kullanımdan kurmak
- 02
Kısmi başarıyı puanlayan bir ölçüm tasarlamak
- 03
Bir benchmark sonucunu kullanılabilir olup olmadığına göre değerlendirmek
Sorular sayfada görünür
Eğitim içeriği JavaScript arkasına gizlenmez. Aşağıdaki üç örnek soru, doğru cevapları ve açıklamalarıyla birlikte taranabilir durumdadır.
- Soru 01eval_002Görev seti · Orta · Ölçüm tasarımı
Değerlendirme görev seti nereden toplanmalıdır?
- ASentetik olarak modelden üretilerek
- BGerçek kullanımdan gelen isteklerden
- CKamuya açık benchmark setlerinden
- DEkibin aklına gelen örneklerden
Açıklama
Gerçek istekler, kullanıcıların nasıl yazdığını ve hangi uç durumların çıktığını taşır. Sentetik ve kamuya açık setler destekleyici olabilir ama üretim kalitesini temsil etmez.
Evaluation girdisini oku - Soru 02eval_005Puanlama · Orta · Ölçüm tasarımı
Çok adımlı görevlerde ikili (başarılı/başarısız) puanlamanın sakıncası nedir?
- AHesaplaması zordur
- BKısmi iyileşmeyi görünmez kılar
- Cİnsan değerlendirici gerektirir
- DRegresyon testine bağlanamaz
Açıklama
Yedi adımın altısını doğru yapan bir akış ile hiçbirini yapmayan akış aynı skoru alır. Kısmi başarı puanlanmazsa iyileştirme çalışmaları ölçülemez.
- Soru 03eval_008LLM yargıcı · İleri · Ölçüm tasarımı
Model çıktısını başka bir modele puanlatırken en büyük risk nedir?
- AMaliyet
- BYargıç modelin sistematik yanlılığı ve kendi çıktısını kayırması
- CGecikme
- DToken sınırı
Açıklama
LLM yargıçları uzun, kendinden emin ve kendi üslubuna benzeyen cevapları kayırma eğilimi gösterir. Bu yüzden yargıç puanları insan örneklemesiyle kalibre edilmelidir.
Skor nasıl okunur?
AI Curious
0–35
Kavramları duymuş, henüz haritası yok.
AI Explorer
36–60
Temelleri biliyor, uygulamada boşluklar var.
AI Practitioner
61–80
Uygulama kurabiliyor, değerlendirme eksik.
AI Builder
81–100
Üretim sistemi kurabiliyor ve ölçebiliyor.
Ölçmeye devam et
- DeğerlendirmeDeğerlendirme Testi — Başlangıç6 soru · 8 dk
- DeğerlendirmeDeğerlendirme Testi — İleri6 soru · 15 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — İleri6 soru · 15 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — Orta6 soru · 12 dk
- GözlemlenebilirlikGözlemlenebilirlik Testi — İleri6 soru · 15 dk
- GözlemlenebilirlikGözlemlenebilirlik Testi — Orta6 soru · 12 dk
LEARN
Eksik çıkan beceriyi kapat
Test sonucun beceri grafiğine işlenir; sistem hangi dersle devam etmen gerektiğini söyler.