Orta
Evaluation
Bir yapay zekâ sisteminin çıktısının, tanımlı ölçütlere göre sistematik biçimde ölçülmesidir.
BenchmarkAI AgentObservability
9 Eylül 2026
ATLAS KATEGORİSİ
MLOps / LLMOps
MLOps / LLMOps alanındaki 60 terimin Türkçe tanımı bu sayfada. Ayrıntı gerektiren kavramlar Atlas girdisine açılır; geri kalanında sözlük tanımı nihai biçimdir.
- Terim
- 60
- Atlas girdisi
- 3
- İşaretli
- 0
- Hedef girdi
- 13
01AYRINTILI GİRDİLER
Atlas kavramları
Gövdesi, kaynakları ve sürüm geçmişi olan girdiler. Bir kavramın Atlas girdisi açılması, tek satırlık tanımın yetmediği anlamına gelir.
Orta
LLMOps
Dil modeli tabanlı uygulamaların istem, bağlam, araç ve model sürümlerini izlenebilir, ölçülebilir ve geri alınabilir biçimde işletme pratiğidir.
MLOpsEvaluationRAG
9 Eylül 2026
Orta
MLOps
Makine öğrenmesi modellerinin geliştirilmesini, dağıtımını, izlenmesini ve yenilenmesini tekrarlanabilir ve denetlenebilir hale getiren mühendislik disiplinidir.
LLMOpsEvaluationMachine Learning
4 Eylül 2026
02ALAN SÖZLÜĞÜ
MLOps / LLMOps terimleri
Bu alanın tüm sözlük terimleri, Türkçe tanımı ve İngilizce karşılığıyla. Mor işaretli olanların ayrıntılı Atlas girdisi yayında.
- Adım kaydıSpan
- Bir iz içindeki tek bir işlem birimi; başlangıç, bitiş ve üst adım bilgisini taşır.Sözlükteki yeri
- Ajan değerlendirmesiAgent Evaluation
- Tek bir cevabın değil, çok adımlı bir görevin baştan sona ölçülmesi. Girdi–çıktı karşılaştırması yetmez: hangi araçların çağrıldığı, kaç adım harcandığı ve görevin gerçekten bitip bitmediği ölçülür.Sözlükteki yeri
- Altın veri kümesiGolden Dataset
- Doğru cevapları elle işaretlenmiş, ölçümün referans noktası sayılan küme.Sözlükteki yeri
- Araç çağırma doğruluğuTool-Call Accuracy
- Modelin doğru aracı, doğru parametrelerle ve doğru anda çağırma oranı. Ajan hatalarının büyük bölümü akıl yürütmede değil bu adımda oluşur.Sözlükteki yeri
- Bağlam uygunluğuContext Relevance
- Getirilen belgelerin soruyla ne kadar ilgili olduğu. Düşük çıktığında sorun üretim değil getirim katmanındadır; bu ayrım RAG hata ayıklamasının ilk adımıdır.Sözlükteki yeri
- Başarılı görev başına maliyetCost per Successful Task
- Toplam harcamanın, başarıyla tamamlanan görev sayısına bölünmesi. Ajan ekonomisinde çağrı başına maliyetten daha anlamlıdır: üç kez deneyip başaran ucuz model, bir kezde başaran pahalı modelden pahalı çıkabilir.Sözlükteki yeri
- Cevap uygunluğuAnswer Relevance
- Cevabın sorulan soruya gerçekten karşılık verip vermediği. Doğru ve kaynaklı olup soruyu ıskalayan bir cevap bu ölçütte düşük puan alır.Sözlükteki yeri
- ÇekimserlikAbstention
- Modelin, yeterli dayanağı olmadığında cevap vermeyi reddetmesi. Doğru cevap veremediğinde susmayı öğrenmiş bir sistem, yanlış cevap veren sistemden ölçülebilir biçimde daha güvenilirdir.Sözlükteki yeri
- Çevrimdışı değerlendirmeOffline Evaluation
- Sabit bir veri kümesi üzerinde, yayına çıkmadan yapılan ölçüm. Hızlı ve tekrarlanabilirdir; veri kümesi gerçek kullanımı temsil etmiyorsa güven verirken yanıltır.Sözlükteki yeri
- Çevrimiçi değerlendirmeOnline Evaluation
- Gerçek kullanıcı trafiği üzerinde, üretimde yapılan ölçüm. Gerçek dağılımı görür; karşılığında hatalı sürüm kullanıcıya ulaşmış olur.Sözlükteki yeri
- DeğerlendirmeevalEvaluation
- Bir sistemin iyi çalıştığını iddia etmek yerine ölçümle gösterme pratiği ve bunun için kurulan düzen.Sözlükteki yeriAtlas girdisi
- Değerlendirme koşum takımıEvaluation Harness
- Test kümelerini, ölçütleri ve raporlamayı bir arada koşturan altyapı. Değerlendirmeyi bir defalık analiz olmaktan çıkarıp her sürümde çalışan bir kapıya dönüştürür.Sözlükteki yeri
- Değerlendirme sızıntısıEvaluation Leakage
- Test örneklerinin eğitim verisine ya da istem örneklerine karışması. Skoru yükseltir, gerçek niteliği hiç değiştirmez; kıyaslama kirlenmesinin kurum içi karşılığıdır.Sözlükteki yeri
- DoğrulukAccuracy
- Doğru tahmin edilen örneklerin toplam örneğe oranı; dengesiz veride tek başına yanıltıcıdır.Sözlükteki yeri
- DuyarlılıkRecall
- Gerçekten pozitif olanlardan yakalananların oranı; kaçırmanın maliyetli olduğu yerde belirleyicidir.Sözlükteki yeri
- Eğri altı alanAUCArea Under Curve
- ROC eğrisinin altındaki alan; modelin eşikten bağımsız ayırt etme gücünü özetler.Sözlükteki yeri
- Eşik seçimiThreshold Selection
- Modelin olasılık çıktısını karara çeviren sınırın belirlenmesi; teknik değil iş kararıdır.Sözlükteki yeri
- F1 skoruF1 Score
- Kesinlik ile duyarlılığın harmonik ortalaması; ikisi arasında denge arandığında kullanılır.Sözlükteki yeri
- Geri almaRollback
- Bozuk bir sürümden önceki iyi sürüme dönme; tatbik edilmemiş geri alma yolu yok sayılır.Sözlükteki yeri
- Gölge değerlendirmeShadow Evaluation
- Yeni sürümün gerçek trafiği işleyip çıktısının kullanıcıya gösterilmeden kaydedilmesi. Çevrimiçi ölçümün gerçekliğini, çevrimdışı ölçümün güvenliğiyle birleştirir.Sözlükteki yeri
- Gölge koşuShadow Deployment
- Yeni sürümü gerçek trafikle çalıştırıp çıktısını kullanıcıya göstermeden karşılaştırma yöntemi.Sözlükteki yeri
- Görev başarı oranıTask Success Rate
- Verilen görevlerin kaçının kabul ölçütlerini karşılayarak tamamlandığı. Ajan sistemlerinde tek başına en anlamlı üst düzey ölçüt; anlamlı olması kabul ölçütlerinin önceden yazılmasına bağlıdır.Sözlükteki yeri
- Görev setiTask Suite
- Bir sistemin belirli yetenekleri üzerinde ölçüldüğü, elle hazırlanmış görev topluluğu.Sözlükteki yeri
- GözlemlenebilirlikObservability
- Bir sistemin dışarıdan görünen çıktılarından iç durumunun anlaşılabilmesi; iz, ölçüm ve günlük üç ayağıdır.Sözlükteki yeri
- Hata bütçesiError Budget
- Hizmet hedefinin izin verdiği başarısızlık payı; tükendiğinde yeni yayınlar durur.Sözlükteki yeri
- Hizmet seviyesi hedefiSLOService Level Objective
- Bir sistemin karşılaması beklenen ölçülebilir güvenilirlik hedefi.Sözlükteki yeri
- İkili karşılaştırmalı değerlendirmePairwise Evaluation
- İki cevabı mutlak puan vermek yerine yan yana koyup hangisinin daha iyi olduğunu sordurma. İnsan ve model yargıçlar mutlak puanlamada tutarsızken karşılaştırmada belirgin biçimde kararlıdır.Sözlükteki yeri
- İnsan değerlendirmesiHuman Evaluation
- Çıktı kalitesinin insan değerlendiriciler tarafından ölçülmesi; otomatik ölçümlerin referans noktasıdır.Sözlükteki yeri
- İz değerlendirmesiTrajectory Evaluation
- Ajanın attığı adım dizisinin, sonuçtan bağımsız olarak incelenmesi. Doğru sonuca on beş gereksiz araç çağrısıyla varan bir ajan, sonuç ölçütünde başarılı, iz ölçütünde başarısızdır.Sözlükteki yeri
- İz kaydıTracing
- Bir isteğin sistemdeki tüm adımlarını uçtan uca kaydeden mekanizma; kök nedene inmenin tek yoludur.Sözlükteki yeri
- k denemede başarıpass@kPass@k
- Bir soruna k bağımsız deneme yapıldığında en az birinin doğru olma oranı. Kod üretiminde standart ölçüt; tek denemedeki başarıyla karıştırılırsa sistemi olduğundan iyi gösterir.Sözlükteki yeri
- k'da duyarlılıkRecall@k
- İlgili belgelerin kaçının ilk k sonuç içinde döndüğü. RAG hattında en kritik getirim ölçütüdür: ilk k'ya girmeyen belge, model ne kadar iyi olursa olsun cevaba giremez.Sözlükteki yeri
- k'da kesinlikPrecision@k
- İlk k sonucun kaçının gerçekten ilgili olduğu. Bağlam bütçesi sınırlıyken belirleyicidir: alakasız her sonuç, yerini alabilecek ilgili bir belgeyi dışarıda bırakır.Sözlükteki yeri
- Kademeli yayınCanary Release
- Yeni sürümü önce küçük bir trafik dilimine açarak riski sınırlayan yayın yöntemi.Sözlükteki yeri
- KalibrasyonCalibration
- Modelin verdiği olasılıkların gerçek sıklıklarla örtüşmesi; yüzde yetmiş diyen model onda yedi kez doğru olmalıdır.Sözlükteki yeri
- Karışıklık matrisiConfusion Matrix
- Gerçek ve tahmin edilen sınıfların kesişim sayılarını gösteren tablo; tek bir skorun gizlediğini açar.Sözlükteki yeri
- Kavram kaymasıConcept Drift
- Girdi ile hedef arasındaki ilişkinin zamanla değişmesi; veri kaymasından farklı olarak yeniden etiketleme gerektirir.Sözlükteki yeri
- KaymaDrift
- Üretimdeki veri dağılımının eğitim verisinden zamanla uzaklaşması; model performansı sessizce düşer.Sözlükteki yeri
- Kaynağa dayalılıkGroundedness
- Üretilen cevaptaki her iddianın, verilen kaynaklarda karşılığının bulunup bulunmadığı. RAG sistemlerinde halüsinasyonun ölçülebilir hâlidir: dayanağı olmayan cümle, doğru olsa bile dayanaksızdır.Sözlükteki yeri
- KesinlikPrecision
- Pozitif denen örneklerden gerçekten pozitif olanların oranı; yanlış alarmın maliyetli olduğu yerde belirleyicidir.Sözlükteki yeri
- KıyaslamaBenchmark
- Standart bir veri kümesi ve ölçütle modelleri karşılaştırma; metodolojisi yayımlanmadıkça sonucu yorumlanamaz.Sözlükteki yeri
- Kıyaslama kirlenmesiBenchmark Contamination
- Test verisinin modelin eğitim verisine karışması; skoru gerçek yetenekten bağımsız biçimde yükseltir.Sözlükteki yeri
- Kıyaslamaya aşırı uydurmaBenchmark Overfitting
- Modelin belirli bir kıyaslamada iyi, gerçek kullanımda kötü olacak biçimde ayarlanması.Sözlükteki yeri
- Konum önyargısıPosition Bias
- Karşılaştırmalı değerlendirmede, ilk ya da son gösterilen seçeneğin sırf konumu nedeniyle kazanma eğilimi. Sırayı rastgeleleştirip iki yönde de sormak standart önlemdir.Sözlükteki yeri
- LLMOps
- Dil modeli uygulamalarında istem, bağlam hattı ve değerlendirme varlıklarını yönetme disiplini.Sözlükteki yeriAtlas girdisi
- MLOps
- Makine öğrenmesi modellerini üretime alma, izleme ve sürdürme disiplini.Sözlükteki yeriAtlas girdisi
- Model kayıt defteriModel Registry
- Eğitilmiş model sürümlerinin künyesiyle saklandığı ve yayına alındığı merkezi depo.Sözlükteki yeri
- Model yargıçLLM as a Judge
- Bir dil modelinin başka bir modelin çıktısını puanlaması; insan etiketine karşı kalibre edilmedikçe yanlılığı ölçekler.Sözlükteki yeri
- Normalleştirilmiş indirgenmiş kümülatif kazançNDCGNormalized Discounted Cumulative Gain
- Sonuçların hem ilgililik derecesini hem sırasını dikkate alan getirim ölçütü: üstteki isabet alttakinden daha çok sayılır. İkili değil dereceli ilgililik etiketi gerektirir.Sözlükteki yeri
- Ortalama karşılıklı sıraMRRMean Reciprocal Rank
- İlk doğru sonucun sırasının tersinin sorgular boyunca ortalaması. Tek bir doğru cevabın aranan olduğu durumlarda, o cevabın ne kadar üstte çıktığını ölçer.Sözlükteki yeri
- Ölçüt tabanlı değerlendirmeRubric-Based Evaluation
- Cevabın, önceden yazılmış açık ölçütlere göre madde madde puanlanması. "İyi mi?" sorusunu "kaynak verdi mi, adımları sıraladı mı, uyarıyı içerdi mi?" sorularına böler ve yargıyı tekrarlanabilir kılar.Sözlükteki yeri
- Özellik bayrağıFeature Flag
- Bir özelliği kod dağıtmadan açıp kapatmayı sağlayan anahtar.Sözlükteki yeri
- Özellik deposuFeature Store
- Eğitimde ve üretimde aynı özellik tanımlarının kullanılmasını sağlayan merkezi depo.Sözlükteki yeri
- Regresyon değerlendirmesiRegression Evaluation
- Yeni sürümün, önceki sürümde geçen örneklerde gerileyip gerilemediğinin sınanması. Ortalama skor yükselirken belirli bir müşteri senaryosunun bozulması ancak böyle görülür.Sözlükteki yeri
- Regresyon testiRegression Test
- Yeni bir sürümün daha önce çalışan davranışı bozmadığını doğrulayan test.Sözlükteki yeri
- ROC eğrisiROC Curve
- Eşik değiştikçe doğru ve yanlış pozitif oranlarının nasıl değiştiğini gösteren eğri.Sözlükteki yeri
- SadakatFaithfulness
- Cevabın, dayandığı kaynağı çarpıtmadan aktarması. Kaynağa dayalılık bağın var olup olmadığını sorar; sadakat o bağın doğru kurulup kurulmadığını.Sözlükteki yeri
- Yanlış negatifFalse Negative
- Var olduğu hâlde yok denen durum; kaçırılan vaka.Sözlükteki yeri
- Yanlış pozitifFalse Positive
- Olmadığı hâlde var denen durum; yanlış alarm.Sözlükteki yeri
- Yargıç önyargısıJudge Bias
- Değerlendirici modelin içeriğin niteliğinden bağımsız eğilimleri: uzun cevabı, kendi ailesinden modelin çıktısını ya da kendinden emin üslubu üstün görmesi.Sözlükteki yeri