GÖZLEMLENEBİLİRLİK · Orta
Gözlemlenebilirlik Testi — Orta
Üretimdeki bir dil modeli hattında belirti okuma, iz kurgusu, maliyet ayrıştırması ve uyarı eşiği kararlarını ölçen test.
- Soru
- 6
- Süre
- 12 dk
- Ölçülen beceri
- 4
- Seviye
- Orta
Kimler çözmeli?
Yayında bir yapay zekâ özelliğini ayakta tutan mühendisler için; temel izleme kavramlarını bilmek gerekir.
Ölçülen beceriler
- Belirti okuma
- İzleme kurgusu
- Maliyet ödünleşimi
- Uyarı eşiği
Testi çöz
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alan önerisi alırsın.
6 soruluk testi çözmeye hazır mısın?
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alanlar için öneri alırsın.
Bu test neyi ölçüyor?
Test sonrası ne bildiğini değil, hangi beceride eksik olduğunu görürsün.
- 01
Bir gecikme belirtisinin hangi katmandan geldiğini daraltmak
- 02
İz, günlük ve ölçüt arasında doğru aracı seçmek
- 03
Örnekleme oranı ile görünürlük arasındaki ödünleşimi gerekçelendirmek
Sorular sayfada görünür
Eğitim içeriği JavaScript arkasına gizlenmez. Aşağıdaki üç örnek soru, doğru cevapları ve açıklamalarıyla birlikte taranabilir durumdadır.
- Soru 01gozlemlenebilirlik-orta-1İz ve günlük ayrımı · Orta · İzleme kurgusu
Bir isteğin geri getirme, araç çağrısı ve üretim adımlarında ne kadar süre harcadığını görmek için hangi kayıt biçimi gerekir?
- AAdımları ebeveyn-çocuk ilişkisiyle bağlayan uçtan uca iz
- BHer adımın kendi sunucusunda tuttuğu serbest metin günlüğü
- CDakikalık aralıklarla toplanan ortalama gecikme ölçütü
- DHata anında üretilen yığın izi ve hata mesajı
Açıklama
Adım sürelerinin tek bir istek içinde nasıl dağıldığını yalnızca aralıkları birbirine bağlayan bir iz gösterir. Ayrı ayrı tutulan günlükler aynı bilgiyi taşıyabilir ama istek kimliğiyle ilişkilendirilmedikçe hangi satırın hangi isteğe ait olduğu ve adımların sırası çıkarılamaz.
LLMOps girdisini oku - Soru 02gozlemlenebilirlik-orta-2Gecikme belirtisi · Orta · Belirti okuma
Gecikmenin üst yüzdelik değerleri kötüleşirken ortalamanın neredeyse sabit kalması hangi durumu işaret eder?
- Aİstek hacmiyle birlikte sistem genelinde yavaşlama olduğunu
- BÖlçüt toplayıcının örnekleme oranının düşürüldüğünü
- CSorunun tüm isteklerde değil, bir istek alt kümesinde olduğunu
- DModel sunucusunun istek kuyruğunda doygunluğa ulaştığını
Açıklama
Ortalama sabitken kuyruk uzuyorsa isteklerin küçük bir bölümü çok yavaşlamıştır; bu genelde belirli bir girdi tipi, uzun bağlam veya tek bir bağımlılığa işaret eder. Tek biçimli yavaşlama seçeneği çekicidir ama o durumda ortalama da yüzdeliklerle birlikte yükselirdi.
- Soru 03gozlemlenebilirlik-orta-3Maliyet ayrıştırması · Orta · Maliyet ödünleşimi
İstek başına maliyetin beklenmedik biçimde artmasını ayıklamak için hangi ölçüm ayrıştırması en çok işe yarar?
- AToplam istek sayısını saatlik olarak izlemek
- BGecikmenin üst yüzdeliklerini istek tipine ve modele göre izlemek
- CHata oranını model sürümüne göre izlemek
- DGirdi ve çıktı jeton sayılarını istek tipine göre ayrı izlemek
Açıklama
Maliyet jeton hacminden doğduğu için artışın bağlam şişmesinden mi uzayan yanıtlardan mı geldiği ancak girdi ve çıktı ayrı ayrı izlenirse görülür. İstek sayısını izlemek toplam faturayı açıklar ama sorudaki belirti istek başına maliyettir; hacim artışı bu oranı değiştirmez.
Skor nasıl okunur?
AI Curious
0–35
Kavramları duymuş, henüz haritası yok.
AI Explorer
36–60
Temelleri biliyor, uygulamada boşluklar var.
AI Practitioner
61–80
Uygulama kurabiliyor, değerlendirme eksik.
AI Builder
81–100
Üretim sistemi kurabiliyor ve ölçebiliyor.
Ölçmeye devam et
- GözlemlenebilirlikGözlemlenebilirlik Testi — İleri6 soru · 15 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — İleri6 soru · 15 dk
- Benchmark TasarımıBenchmark Tasarımı Testi — Orta6 soru · 12 dk
- DeğerlendirmeDeğerlendirme Testi6 soru · 10 dk
- DeğerlendirmeDeğerlendirme Testi — Başlangıç6 soru · 8 dk
- DeğerlendirmeDeğerlendirme Testi — İleri6 soru · 15 dk
LEARN
Eksik çıkan beceriyi kapat
Test sonucun beceri grafiğine işlenir; sistem hangi dersle devam etmen gerektiğini söyler.