ÇIKARIM OPTİMİZASYONU VE SUNUM · İleri
Çıkarım Optimizasyonu ve Sunum Testi — İleri
Üretimde model sunarken gecikme, verim ve donanım bütçesi arasındaki mimari kararları ölçen test.
- Soru
- 6
- Süre
- 15 dk
- Ölçülen beceri
- 4
- Seviye
- İleri
Kimler çözmeli?
Model sunum yığınını üretimde işleten altyapı ve platform mühendisleri için; toplu işleme, anahtar-değer önbelleği ve hızlandırıcı belleği kavramlarına aşinalık bekler.
Ölçülen beceriler
- Gecikme bütçesi muhakemesi
- Toplu işleme ödünleşimi
- Bellek darboğazı teşhisi
- Kapasite planlama kararı
Testi çöz
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alan önerisi alırsın.
6 soruluk testi çözmeye hazır mısın?
Her cevaptan sonra doğru yanıt ve açıklaması gösterilir. Sonuçta beceri bazlı kırılım ve eksik alanlar için öneri alırsın.
Bu test neyi ölçüyor?
Test sonrası ne bildiğini değil, hangi beceride eksik olduğunu görürsün.
- 01
Verim ile ilk token gecikmesi arasındaki ödünleşimi gerekçelendirmek
- 02
Bellek bant genişliği sınırlı ile hesap sınırlı aşamaları ayırt etmek
- 03
Sunum yığınında doğru toplama ve önbellek stratejisini seçmek
Sorular sayfada görünür
Eğitim içeriği JavaScript arkasına gizlenmez. Aşağıdaki üç örnek soru, doğru cevapları ve açıklamalarıyla birlikte taranabilir durumdadır.
- Soru 01cikarim-optimizasyonu-ileri-1Toplu işleme · İleri · Toplu işleme ödünleşimi
Sürekli toplama, statik toplamaya göre verimi hangi mekanizmayla artırır?
- Aİstekleri çıktı uzunluğuna göre kümeleyip aynı boydaki dizileri bir arada tutar.
- BHer isteğe ayrı bir hızlandırıcı akışı açıp çekirdekleri bağımsız çalıştırır.
- CTamamlanan isteğin yerine kuyruktaki isteği aynı adımda alıp yuvayı doldurur.
- DToplu içindeki tüm isteklerin çıktı uzunluğunu eşitleyip dolgu tokenını azaltır.
Açıklama
Sürekli toplama adım düzeyinde çalışır: bir istek bittiğinde toplunun tamamının bitmesi beklenmez, kuyruktaki istek boşalan yuvaya girer ve boşta geçen adım kalmaz. Uzunluğa göre kümeleme ayrı bir tekniktir ve statik toplamadaki dolguyu hafifletir; sürekli toplamanın kazancı dolgudan değil bekleme kaybının kalkmasından gelir.
- Soru 02cikarim-optimizasyonu-ileri-2Ön dolum ve kod çözme · İleri · Bellek darboğazı teşhisi
Ön dolumu hesap sınırlı, kod çözmeyi bellek bant genişliği sınırlı davranan bir sunucuda toplu boyutu büyütmenin beklenen etkisi nedir?
- AKod çözmede ağırlık okuması istekler arasında paylaşılır: verim artar, tek istek gecikmesi uzar.
- BHer iki aşamada da gecikme düşer, çünkü çekirdek başlatma sayısı azalır ve kuyruk kısalır.
- CÖn dolum bellek sınırlı hale gelir, kod çözme aşaması ise toplu boyutundan etkilenmez.
- DVerim değişmez, yalnızca bellek kullanımı artar; sınır tek isteğin ağırlık okumasıdır.
Açıklama
Kod çözme adımında token başına aynı ağırlıklar bellekten okunur; toplu boyut büyüdükçe bu okuma daha çok istek arasında paylaşılır ve verim yükselir. Karşılığında her istek daha kalabalık bir adımı beklediği için token başına gecikme artar. 'Her iki aşamada da gecikme düşer' seçeneği çekicidir ama toplu boyut gecikmeyi iyileştirmez; verim ile gecikme burada ters yönde hareket eder.
Large Language Model girdisini oku - Soru 03cikarim-optimizasyonu-ileri-3Anahtar-değer önbelleği · İleri · Kapasite planlama kararı
Eşzamanlı istek sayısı arttıkça anahtar-değer önbelleği cihaz belleğini doldurup istekler kuyrukta bekliyor. Hangi müdahale bu darboğazı doğrudan hedefler?
- AAğırlıkları daha düşük bit genişliğinde nicemleyip model dosyasının boyutunu küçültmek.
- BÖnbelleği sayfalı yönetmek ve grup sorgu dikkatiyle istek başına önbelleği küçültmek.
- CToplu boyutu büyütüp kuyrukta bekleyen istekleri aynı adımda işlemeye çalışmak.
- DDaha hızlı bir tokenlaştırıcı kullanarak ön dolum aşamasının süresini kısaltmak.
Açıklama
Darboğaz ağırlıklar değil, istek ve bağlam uzunluğuyla birlikte büyüyen anahtar-değer önbelleğidir; sayfalı yönetim parçalanmayı bitirir, grup sorgu dikkati ise anahtar-değer baş sayısını azaltarak önbelleğin kendisini küçültür. Ağırlık nicemlemesi bir miktar yer açar ama önbelleğin eşzamanlılıkla büyümesini durdurmaz, bu yüzden aynı sınıra kısa süre sonra yeniden çarpılır.
Attention girdisini oku
Skor nasıl okunur?
AI Curious
0–35
Kavramları duymuş, henüz haritası yok.
AI Explorer
36–60
Temelleri biliyor, uygulamada boşluklar var.
AI Practitioner
61–80
Uygulama kurabiliyor, değerlendirme eksik.
AI Builder
81–100
Üretim sistemi kurabiliyor ve ölçebiliyor.
Ölçmeye devam et
- Çıkarım Optimizasyonu ve SunumÇıkarım Optimizasyonu ve Sunum Testi — Orta6 soru · 12 dk
- AI AltyapısıAI Altyapısı Testi — Başlangıç6 soru · 8 dk
- AI AltyapısıAI Altyapısı Testi — Orta6 soru · 12 dk
- GPU, TPU ve HızlandırıcılarGPU, TPU ve Hızlandırıcılar Testi — Orta6 soru · 12 dk
- Maliyet MühendisliğiMaliyet Mühendisliği Testi — Başlangıç6 soru · 8 dk
- Maliyet MühendisliğiMaliyet Mühendisliği Testi — Orta6 soru · 12 dk
LEARN
Eksik çıkan beceriyi kapat
Test sonucun beceri grafiğine işlenir; sistem hangi dersle devam etmen gerektiğini söyler.