LLMOps
Dil modeli operasyonları
Dil modeli tabanlı uygulamaların istem, bağlam, araç ve model sürümlerini izlenebilir, ölçülebilir ve geri alınabilir biçimde işletme pratiğidir.
ÖnkoşulLLM
Kısa cevap
LLMOps, klasik MLOps ile aynı amacı taşır ama farklı artefaktları yönetir: model ağırlıkları yerine istem sürümleri, bağlam kaynakları, araç şemaları ve sağlayıcı model sürümleri. Arıza biçimi de farklıdır: sistem hata vermeden kalite düşer.
Sessiz arıza problemi#
Klasik bir servis bozulduğunda hata oranı yükselir ve alarm çalar. Dil modeli tabanlı bir akış bozulduğunda servis 200 döner, gecikme normaldir, hata oranı sıfırdır — ama cevaplar kötüleşmiştir. Nedeni bir istem değişikliği, sağlayıcı model güncellemesi, belge setinin bozulması veya araç şemasının değişmesi olabilir.
İz: minimum kayıt birimi#
Kayıt birimi "istek" değil "iz" olmalı: bir kullanıcı niyetinden başlayıp tüm alt çağrıları kapsayan bir ağaç. Her düğümde şu alanların bulunması, sonradan sorulacak hemen her soruyu cevaplamaya yetiyor.
{
"iz_kimligi": "tr_01H...",
"adim": "geri-getirme",
"istem_surumu": "ozet-v7",
"model": "saglayici/model-adi@2026-08",
"girdi_token": 4120,
"cikti_token": 318,
"gecikme_ms": 1840,
"arac_cagrilari": [{ "ad": "belge_ara", "sonuc_sayisi": 0 }],
"geri_getirme_isabet": false,
"degerlendirme": { "bicim_uyumu": true, "kaynakli": false },
"maliyet_usd": 0.0042
}Çevrimdışı ve çevrimiçi değerlendirme#
| Tür | Ne zaman | Ne ölçer | Sınırı |
|---|---|---|---|
| Çevrimdışı | Sürüm öncesi | Görev setinde tamamlama ve kalite | Gerçek trafiği temsil etmez |
| Çevrimiçi | Üretimde sürekli | Gerçek isteklerde kalite göstergeleri | Etiket yok; dolaylı sinyal |
| İnsan denetimi | Örneklemeli | Öznel kalite ve güvenlik | Maliyetli, gecikmeli |
Olgunluk göstergesi#
Bir ekibin olgunluğunu anlamak için tek soru yeterli: "Dün saat üçte şu cevabı neden verdiğini gösterebilir misin?" Cevap hayırsa, model tartışmasının pratik bir anlamı yok.
Sık sorulan sorular
İstem sürümünü neden kaydetmek gerekiyor?
Çünkü çıktı kalitesi istem, model sürümü ve bağlamın bileşiminden doğar. Üçünden biri kayıtlı değilse bir gerilemenin nedenini bulmak mümkün olmaz.
Sağlayıcı modeli güncellediğinde ne yapmalı?
Görev setini yeni sürümde koşturup eski sürümle karşılaştırmak. Sürüm sabitleme imkânı varsa, karşılaştırma tamamlanana kadar sabitlemek en güvenli yol.
Model tabanlı otomatik değerlendirme güvenilir mi?
Tek başına değil. Yargıç modelin kendi eğilimleri sonuca karışır; en az bir insan kalibrasyon turuyla desteklenmeli ve raporda yöntem belirtilmeli.
Kaynaklar
- 01Sinaptik Research — gözlemlenebilirlik notları — Sinaptik Lab · Teknik rapor
Güncelleme geçmişi
- v1.1İz şeması ve değerlendirme tablosu eklendi.
- v1.0İlk yayın.
LEARN
LLMOps konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.