İleri
Quantization
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Mixture of ExpertsLLMMLOps
3 Eylül 2026
ATLAS KATEGORİSİ
AI Infrastructure
AI Infrastructure alanındaki 47 terimin Türkçe tanımı bu sayfada. Ayrıntı gerektiren kavramlar Atlas girdisine açılır; geri kalanında sözlük tanımı nihai biçimdir.
- Terim
- 47
- Atlas girdisi
- 2
- İşaretli
- 0
- Hedef girdi
- 16
01AYRINTILI GİRDİLER
Atlas kavramları
Gövdesi, kaynakları ve sürüm geçmişi olan girdiler. Bir kavramın Atlas girdisi açılması, tek satırlık tanımın yetmediği anlamına gelir.
Orta
Vector Database
Yüksek boyutlu vektörleri saklayıp anlamsal yakınlığa göre hızlı komşu araması yapabilen veri tabanıdır.
EmbeddingRAGSemantic Search
30 Ağustos 2026
02ALAN SÖZLÜĞÜ
AI Infrastructure terimleri
Bu alanın tüm sözlük terimleri, Türkçe tanımı ve İngilizce karşılığıyla. Mor işaretli olanların ayrıntılı Atlas girdisi yayında.
- Anahtar–değer önbelleğiKV Cache
- Üretim sırasında önceki tokenların dikkat hesaplarının saklandığı bellek; bağlam uzadıkça hızla büyür.Sözlükteki yeri
- Bağlam paralelliğiContext Parallelism
- Çok uzun bir dizinin, token ekseninde bölünerek birden çok cihazda işlenmesi. Tek cihazın belleğine sığmayan bağlam uzunluklarını mümkün kılar.Sözlükteki yeri
- Bellek bant genişliğiMemory Bandwidth
- Hızlandırıcının belleğe saniyede taşıyabildiği veri miktarı; çıkarımda sık görülen gerçek darboğazdır.Sözlükteki yeri
- Boru hattı paralelliğiPipeline Parallelism
- Modelin katmanlarının sırayla farklı cihazlara yerleştirilmesi. İletişim yükü tensör paralelliğinden azdır; karşılığında boru hattının dolup boşalması sırasında cihazlar boş bekler.Sözlükteki yeri
- BudamaPruning
- Modelde katkısı düşük bağlantı ya da nöronları kaldırarak boyutu küçültme.Sözlükteki yeri
- Çıkarım motoruInference Engine
- Model ağırlıklarını alıp token üretimini en verimli biçimde koşturan yazılım katmanı. Önbellekleme, toplu işleme, nicemleme ve dikkat çekirdeklerini burada uygular.Sözlükteki yeri
- Çıktı token hızıTPSTokens per Second
- Modelin saniyede ürettiği token sayısı; uzun yanıtlarda toplam süreyi belirler.Sözlükteki yeri
- Çıktı tokenı başına süreTPOTTime per Output Token
- İlk tokendan sonra her bir tokenın üretilmesi için geçen ortalama süre. Kullanıcının algıladığı "akış hızı" budur; ilk tokena kadar süreyle birlikte gecikme deneyimini eksiksiz tanımlar.Sözlükteki yeri
- ÇözümlemeDecode
- Tokenların birer birer üretildiği aşama. Hesaplamadan çok bellek bant genişliğine bağlıdır; bu yüzden ön doldurmadan tümüyle farklı bir donanım darboğazı yaratır.Sözlükteki yeri
- Devre kesiciCircuit Breaker
- Bir bağımlılık arızalandığında ona giden çağrıları geçici olarak kesen desen; hata yayılımını sınırlar.Sözlükteki yeri
- Eş zamanlı istekRequest Concurrency
- Aynı anda işlenmekte olan istek sayısı. Verimi artırır, tek bir isteğin gecikmesini uzatır; kapasite planlamasında bu iki ölçüt birlikte hedeflenir.Sözlükteki yeri
- Etkisiz eşlemeIdempotency
- Aynı işlemin birden çok kez uygulanmasının tek kez uygulanmasıyla aynı sonucu vermesi; güvenli yeniden deneme bunun üzerine kurulur.Sözlükteki yeri
- FlashAttention
- Dikkat hesabını, ara matrisi yavaş belleğe hiç yazmadan parçalar hâlinde yapan algoritma. Sonucu değiştirmez, aynı sonucu belirgin biçimde daha az bellek trafiğiyle üretir.Sözlükteki yeri
- Gecikme bütçesiLatency Budget
- Uçtan uca hedef sürenin sistem bileşenleri arasında paylaştırılması.Sözlükteki yeri
- Geri basınçBackpressure
- Aşırı yükte isteklerin kabul hızını düşürerek sistemin tümden çökmesini önleyen mekanizma.Sözlükteki yeri
- GPU kullanım oranıGPU Utilization
- Hızlandırıcının ne kadarının gerçekten çalıştığı. Yüksek görünen kullanım her zaman verimli demek değildir: bellek beklerken de kart meşgul sayılır, bu yüzden tek başına yanıltıcı bir ölçüttür.Sözlükteki yeri
- Grafik işlem birimiGPUGraphics Processing Unit
- Paralel matris işlemlerinde uzmanlaşmış, derin öğrenme eğitiminin ve çıkarımının ana donanımı.Sözlükteki yeri
- HızlandırıcıAccelerator
- Yapay sinir ağı hesaplamalarını genel amaçlı işlemciden hızlı yapan özel donanım.Sözlükteki yeri
- İlk tokena kadar süreTTFTTime to First Token
- İstek gönderildikten sonra ilk çıktı tokenının gelmesine kadar geçen süre; algılanan hızın ana bileşenidir.Sözlükteki yeri
- İstem önbelleğiPrompt Caching
- Tekrarlanan istem önekinin sağlayıcı tarafında saklanarak yeniden işlenmemesi; maliyeti ve gecikmeyi düşürür.Sözlükteki yeri
- Kosinüs benzerliğiCosine Similarity
- İki vektör arasındaki açının kosinüsüyle ölçülen yakınlık; gömme aramasında en yaygın ölçüttür.Sözlükteki yeri
- KotaQuota
- Bir hesabın belirli bir sürede kullanabileceği istek veya token üst sınırı.Sözlükteki yeri
- Kuyruk gecikmesiTail Latency
- En yavaş isteklerin gecikmesi; kullanıcı deneyimini ortalamadan daha çok belirler.Sözlükteki yeri
- Model sunumuModel Serving
- Eğitilmiş bir modelin ağ üzerinden istek alıp cevap döndüren bir hizmete dönüştürülmesi: yükleme, toplu işleme, sıraya alma, ölçekleme ve gözlemlenebilirlik.Sözlükteki yeri
- NicemlemeQuantization
- Ağırlıkları daha düşük sayısal hassasiyetle saklayarak bellek kullanımını düşürme; karşılığında bir miktar kalite kaybı olur.Sözlükteki yeriAtlas girdisi
- Oran sınırlamaRate Limiting
- Belirli bir sürede kabul edilen istek sayısını sınırlayarak sistemi ve kotayı koruma.Sözlükteki yeri
- Otomatik ölçeklemeAutoscaling
- Yüke göre kapasitenin otomatik artırılıp azaltılması.Sözlükteki yeri
- Ön doldurmaPrefill
- İstemin tamamının tek seferde işlenip anahtar-değer önbelleğinin kurulduğu aşama. Hesaplama yoğundur ve ilk tokena kadar geçen süreyi belirleyen kısımdır.Sözlükteki yeri
- Ön doldurma–çözümleme ayrımıPrefill-Decode Disaggregation
- İki aşamanın ayrı sunucu havuzlarında çalıştırılması. Farklı darboğazları olan iki işi aynı makinede toplamak, birinin diğerini bekletmesine yol açar; ayırmak her ikisini de bağımsız ölçeklenebilir kılar.Sözlükteki yeri
- Önbellek isabet oranıCache Hit Rate
- İsteklerin kaçının önbellekten karşılandığı. İstem ve önek önbelleğinde doğrudan maliyet ve gecikme demektir; isabet oranını artırmanın yolu genellikle istemi yeniden sıralamaktır.Sözlükteki yeri
- Önek önbelleğiPrefix Caching
- Birden çok isteğin paylaştığı baştaki bağlamın (sistem istemi, araç tanımları, belge) anahtar-değer önbelleğinin yeniden hesaplanmadan kullanılması. Uzun sistem istemlerinde ön doldurma maliyetini büyük ölçüde düşürür.Sözlükteki yeri
- Sağlayıcı bağımlılığıVendor Lock-in
- Bir sağlayıcıdan ayrılmanın maliyetinin, kalmayı zorunlu kılacak kadar yükselmesi.Sözlükteki yeri
- Sayfalanmış dikkatPagedAttention
- Anahtar-değer önbelleğinin, işletim sistemlerindeki sanal bellek gibi sabit boyutlu bloklarda tutulması. Bellek parçalanmasını ortadan kaldırarak aynı donanımda çok daha fazla eşzamanlı isteğe yer açar.Sözlükteki yeri
- Soğuk başlangıçCold Start
- Boşta duran bir hizmetin ilk isteğe yanıt verebilmesi için gereken hazırlık gecikmesi.Sözlükteki yeri
- Spekülatif çözümlemeSpeculative Decoding
- Küçük bir modelin ürettiği adayları büyük modelin doğrulaması; çıktı kalitesini korurken hızı artırır.Sözlükteki yeri
- Sürekli toplu işlemContinuous Batching
- Tamamlanan istekler çıkarken yenilerini aynı yığına alarak hızlandırıcı boşta kalmasını azaltan teknik.Sözlükteki yeri
- Tensör işlem birimiTPUTensor Processing Unit
- Yapay sinir ağı işlemleri için özel olarak tasarlanmış hızlandırıcı.Sözlükteki yeri
- Tensör paralelliğiTensor Parallelism
- Tek bir katmanın ağırlık matrislerinin birden çok hızlandırıcıya bölünmesi. Tek karta sığmayan modelleri çalıştırır; karşılığında her adımda yoğun kartlar arası iletişim gerektirir.Sözlükteki yeri
- Ters dizinInverted Index
- Her terimin hangi belgelerde geçtiğini tutan yapı; sözcüksel aramanın temel veri yapısıdır.Sözlükteki yeri
- Toplu işlemBatching
- Birden çok isteği birlikte işleyerek donanım verimini artırma; karşılığında tek istek gecikmesi büyür.Sözlükteki yeri
- Uç cihazda çıkarımEdge Inference
- Modelin sunucu yerine kullanıcı cihazında çalıştırılması; gizlilik ve gecikme kazandırır, kapasiteyi sınırlar.Sözlükteki yeri
- Uzman paralelliğiExpert Parallelism
- Uzmanlar karışımı modellerinde farklı uzmanların farklı cihazlara dağıtılması. Ölçeklemenin doğal yolu; token dağılımı dengesizse bazı cihazlar boş kalırken bazıları tıkanır.Sözlükteki yeri
- Uzman yük dengelemeExpert Load Balancing
- Uzmanlar karışımı modellerinde tokenların uzmanlara dengeli dağıtılması. Dengesizlik hem eğitimde bazı uzmanların hiç öğrenmemesine hem çıkarımda cihazların atıl kalmasına yol açar.Sözlükteki yeri
- Vektör veritabanıVector Database
- Gömme vektörlerini saklayan ve aralarında en yakın komşu araması yapan veri deposu.Sözlükteki yeriAtlas girdisi
- VerimThroughput
- Birim zamanda işlenen istek veya token sayısı; gecikmeyle çelişen bir hedeftir.Sözlükteki yeri
- Yaklaşık en yakın komşuANNApproximate Nearest Neighbor
- Tam arama yerine küçük bir doğruluk ödünüyle çok daha hızlı komşu bulan algoritma ailesi.Sözlükteki yeri
- YönlendirmeRouting
- Gelen isteği zorluğuna göre farklı model kademelerine dağıtarak maliyeti düşüren strateji.Sözlükteki yeri