Infrastructure
Çıkarım optimizasyonu, aynı donanımdan daha fazla token çıkarma işidir: sürekli gruplama (continuous batching), sayfalı dikkat ve KV önbellek yönetimi, önek önbelleği, parçalı ön dolum ve spekülatif kod çözme. Niceleme (quantization) ağırlıkları daha az bitle tutarak yalnızca depolamayı değil token başına bellek trafiğini de azaltır; kazanç her zaman kalite kaybıyla dengelenmek zorundadır. vLLM benzeri sunum yığınları, ön dolum ile kod çözmenin ayrıştırılması (disaggregated serving), gecikme-verim dengesi ve SLO tasarımı buraya bağlanır.
Dil modeli sistemlerinde gecikme dağılımı simetrik değil: çıktı uzunluğu, bağlam boyutu, kuyruk bekleme ve ajan turları yüzünden sağ kuyruk uzun. Ortalama gecikme bu kuyruğu gizliyor ve kullanıcı deneyimini belirleyen şey tam olarak kuyruk. Bir sistem ortalamada iyi, en yavaş yüzde birlik diliminde kullanılamaz olabilir — ve panoda ilki görünüyor.
Nicemleme kararı genellikle tek bir karşılaştırmayla veriliyor: değerlendirme setinde doğruluk ne kadar düştü? Düşüş küçükse karar olumlu. Oysa nicemlemenin etkisi homojen değil — kayıp, nadir girdilerde, uzun bağlamlarda, yapılandırılmış çıktılarda ve Türkçe gibi daha az temsil edilen dillerde yoğunlaşıyor. Ortalama bu yoğunlaşmayı tam olarak gizliyor.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Yüksek boyutlu vektörleri saklayıp anlamsal yakınlığa göre hızlı komşu araması yapabilen veri tabanıdır.
Aynı konunun öğretim ve ölçüm formatları.
Testler
