MESLEK · Platform
AI Altyapı Mühendisi nasıl olunur?
Model çalıştırma kapasitesini kuran, hızlandırıcı kaynaklarını paylaştıran ve çıkarım maliyetini yöneten mühendis.
- Temel sorumluluk
- 6
- Kıdem basamağı
- 2
- Beceri
- 6
- Rota bölümü
- 5
Ne yapar?
Aynı iş şu adlarla da anılır: AI Infrastructure Engineer · Inference Engineer · GPU Platform Engineer
- 01
Hızlandırıcı bellek bütçesini model ve bağlam boyutuna göre planlar
- 02
Toplu işlem ve eşzamanlılık ayarlarını gecikme hedefine göre belirler
- 03
Çıkarım sunucusunu ve önbellek katmanlarını kurar
- 04
Kapasite planı yapar; kuyruk ve kota politikasını işletir
- 05
Kendi barındırma ile yönetilen API arasındaki maliyet dengesini hesaplar
- 06
Donanım arızalarında düşüşü sınırlayan yedeklilik kurar
Basamaklar ve ne değiştiği
Unvanlar kurumdan kuruma değişir, sorumluluk sınıfları değişmez. Her basamak bir kanıtla eşleşir: o basamakta olduğunuzu gösterebileceğiniz somut bir iş.
- 1AI Altyapı MühendisiOrta
Odak
Bir modeli hedef gecikme ve maliyetle çalışır hâlde tutar.
Bu basamağın kanıtı
Aynı donanımda verimi, gecikme hedefini bozmadan artırmıştır.
Sorumluluklar
- Bellek bütçesini hesaplar; sığmayan yapılandırmayı önceden eler
- Toplu işlem ayarını verim–gecikme eğrisinde ölçerek seçer
- Önbellek katmanlarını kurar ve isabet oranını izler
- 2Senior AI Altyapı MühendisiKıdemli
Odak
Kapasiteyi kurumsal düzeyde planlar ve paylaştırır.
Bu basamağın kanıtı
Yaptığı hesap, bir iş yükünün barındırma biçimini değiştirmiştir.
Sorumluluklar
- Kota ve öncelik politikasını iş değeriyle ilişkilendirir
- Kendi barındırma ile API arasındaki eşiği hesaplar ve belgeler
- Donanım arızasında kademeli düşüş tasarlar
İş günü neye benziyor?
Meslek seçimini unvan değil, günün nasıl geçtiği belirler.
Sabah
Gece kuyruk bekleme sürelerini ve hızlandırıcı kullanım oranını inceler.
Öğleden önce
Toplu işlem boyutunu değiştirip verim–gecikme eğrisini yeniden ölçer.
Öğleden sonra
Yeni bir modelin bellek ihtiyacını hesaplar; hangi donanıma sığdığını belirler.
Gün sonu
Kapasite tahminini günceller; yaklaşan yük artışını ekiplere bildirir.
Beceriler ve araçlar
Araç listesi hızla değişir; işe alım görüşmelerinde belirleyici olan araçlar değil beceriler.
Gerekli beceriler
- Hızlandırıcı bellek hesabı
- Toplu işlem ve verim ayarı
- Nicemleme ve bellek optimizasyonu
- Kapasite planlama
- Konteyner ve düzenleme
- Maliyet modelleme
Bu role hangi geçmişlerden gelinir
- Sistem veya platform mühendisliğinden geçiş
- Yüksek başarımlı hesaplama geçmişinden kayma
- DevOps rolünden hızlandırıcı tarafına uzmanlaşma
Teknolojiler
- Çıkarım sunucusu
- Konteyner düzenleyici
- Hızlandırıcı sürücü ve çalışma zamanı
- Ölçüm ve profil araçları
- Nesne depolama
Bilmesi gereken kavramlar
Ne üretir, nasıl ölçülür?
Bir rolün gerçek tanımı unvanında değil, ürettiği çıktıda ve başarısının nasıl ölçüldüğündedir.
Ürettiği çıktılar
- Bellek ve kapasite hesap tabloları
- Verim–gecikme eğrisi ölçümleri
- Kota ve öncelik politikası
- Barındırma biçimi karar notu
- Kademeli düşüş planı
Başarı ölçütleri
- Hızlandırıcı kullanım oranı
- Satın alınan kapasitenin gerçekte ne kadarının iş ürettiği.
- Gecikme kuyruğu
- En yavaş yüzde birlik dilim; ortalama gecikme bu sistemlerde kullanıcı deneyimini anlatmaz.
- Birim iş maliyeti
- Bin istek başına toplam altyapı maliyeti; barındırma kararının temel girdisi.
Bu mesleğe çıkan öğrenme yolu
Maaş verisi
Maaş aralıkları, Sinaptik Research'ün saha araştırması yayımlandığında — örneklem büyüklüğü, toplama yöntemi ve kaynak bilgisiyle birlikte — bu sayfaya eklenecek. Doğrulanmamış aralık yayımlanmaz; bu alanda en çok okunan ve en kolay yanlış yönlendiren veri budur.
Neyi göstermek işe yarar?
Çalışan bir demo tek başına yetmez; demolar kolay, kalıcılık zordur. Aşağıdaki her madde belirli bir yetkinliği kanıtlar.
Bellek bütçesi hesabı
Bir modelin ağırlık, aktivasyon ve bağlam belleğini ayrı ayrı hesaplayıp hedef donanıma sığdırmak.
Neyi kanıtlar: Sığmayan yapılandırmayı denemeden eleyebilmek.
GPU Bellek HesaplayıcıVerim eğrisi ölçümü
Toplu işlem boyutunu artırarak verim ve gecikmenin nasıl ayrıştığını ölçmek.
Neyi kanıtlar: Optimum noktanın iş yüküne göre değiştiğini göstermek.
Toplu İşlem VerimiBarındırma eşiği çalışması
Aynı iş yükünü kendi donanımında ve yönetilen API üzerinde maliyetlendirip eşiği bulmak.
Neyi kanıtlar: Hangi hacimden sonra hangisinin ucuzladığını sayıyla göstermek.
LLM Maliyet Hesaplayıcı
Sık duyulan ama yanlış
Daha güçlü donanım her zaman çözümdür.
Darboğaz sıklıkla hesaplama değil bellek bant genişliği, kuyruk yönetimi veya bağlam boyutudur. Ölçmeden yapılan donanım yükseltmesi maliyeti artırır, gecikmeyi düşürmeyebilir.
Kendi modelini barındırmak her zaman daha ucuzdur.
Ucuzlama belirli bir kullanım yoğunluğundan sonra başlar ve kullanım oranı düşükse boşta duran kapasite maliyeti API'den yüksek çıkar. Eşik hesaplanmadan verilen karar tahmindir.
Nicemleme bellekten feragat ederek hız kazandırır.
Tersi doğrudur: nicemleme bellek kullanımını düşürür ve bellek bant genişliğine bağlı iş yüklerinde hızı da artırabilir. Feragat edilen şey bellek değil, bir miktar kalitedir.
Bununla karıştırılanlar
Kariyer kararı çoğunlukla 'bu meslek nedir' değil 'bununla şu arasındaki fark nedir' sorusudur.
- MLOps EngineerMLOps Engineer yayın ve kalite hattını işletir; Altyapı Mühendisi o hattın üzerinde çalıştığı kapasiteyi kurar.
- Ajan Sistemleri Mühendisiİkisi de ölçek sorunlarıyla uğraşır; biri donanım ve çıkarım katmanında, diğeri mantıksal akış katmanında.
Aynı rol ailesinden: Platform
Sık sorulan sorular
Kendi modelimi barındırmalı mıyım yoksa API mi kullanmalıyım?
Karar üç girdiye bağlıdır: kullanım yoğunluğu, gizlilik kısıtı ve ekip kapasitesi. Yönetilen API düşük ve değişken hacimde neredeyse her zaman daha ucuzdur çünkü boşta duran kapasite ödemezsiniz. Kendi barındırma, yüksek ve öngörülebilir hacimde ya da verinin kurum dışına çıkamadığı durumlarda anlam kazanır. Eşiği tahminle değil, kendi hacminizle iki senaryoyu maliyetlendirerek bulun.
Bağlam penceresi büyüdükçe maliyet neden hızla artıyor?
İki ayrı etki üst üste biner. Birincisi doğrudandır: daha çok token, daha çok ücretlendirilen girdi demektir. İkincisi bellektedir; dikkat mekanizmasının ara durumları bağlam uzunluğuyla birlikte büyür ve hızlandırıcı belleğini doldurur. Bellek dolunca aynı donanımda aynı anda hizmet verilebilen istek sayısı düşer, birim maliyet yükselir. Bu yüzden bağlam bütçesi yalnızca fiyat değil kapasite meselesidir.
LEARN
Nereden başlayacağını bilmiyorsan önce ölç
Seviye testi, mevcut becerilerine göre hangi bölümden başlaman gerektiğini söyler.