AI Altyapı Mühendisi

Bir isteğin nereye kaynak harcadığı parçalara ayrılır: girdi ve çıktı jetonları, bağlam uzunluğu, ilk jeton gecikmesi ve jeton başına süre. Bu ölçümleri tek bir tabloda toplamayı ve kurumun kendi trafiğine uyan bir birim iş tanımı sabitlemeyi çalışırsınız. Bölüm sonunda elinizde, sonraki her kararın karşılaştırılacağı bir taban ölçüm bulunur.

• llm
• tokenization
• context-window

Ağırlıkların, ara değerlerin ve dikkat önbelleğinin aynı belleği nasıl paylaştığı hesaplanır. Parametre sayısı, veri tipi ve eşzamanlı istek sayısından yola çıkarak bir hızlandırıcının taşıyabileceği yükü önceden kestirmeyi, sonra bunu gerçek ölçümle doğrulamayı ele alırsınız. Karar, tek bir hızlandırıcı tercihinden çok bellek bütçesi tablosuna dayanır.

• transformer
• attention
• deep-learning

Düşük bit genişliklerine inildiğinde kazanılan hız ve bellek ile ödenen doğruluk bedeli karşı karşıya konur. Kaybı kendi görev kümenizle ölçmeyi, bir kabul eşiği koymayı ve eşiğin altına düşüldüğünde geri dönüş yordamını yazmayı çalışırsınız. Sıkıştırmanın her görevde aynı davranmadığını, ölçümle gösterilen örnekler üzerinden görürsünüz.

• quantization
• neural-networks
• evaluation

Sürekli toplu işlem, kuyruk yönetimi ve önbellek katmanının verim üzerindeki etkisi karşılaştırmalı olarak incelenir. Seyrek uzman mimarilerindeki model içi yönlendirme ile istekleri boyutlarına ve zorluklarına göre farklı modellere dağıtan katman birbirinden ayrılır; ikincisinin ne zaman kazandırıp ne zaman karmaşıklık borcu ürettiğini tartışırsınız. Bölüm, kendi trafiğiniz için bir yönlendirme kuralı taslağıyla kapanır.

• llmops
• mixture-of-experts

Yük testinden ölçekleme kuralı çıkarmak, gecikme ve maliyet göstergelerini sürüm bazında izlemek bu bölümün konusudur. Kademeli yayım, gölge trafik ve geri alma yordamını tanımlayarak altyapı değişikliklerinin geri dönülebilir kalmasını sağlarsınız. Rota, üretimdeki hattın kendi kendini raporladığı bir izleme düzeniyle tamamlanır.

• mlops
• llmops
• evaluation