KURUMSAL HİZMET
MLOps / LLMOps
Model ve istem zincirlerini izlenebilir, sürümlenebilir ve ölçülebilir hale getirme.
Problem
Üretimdeki sorunların kök nedeni bulunamıyor; hangi değişikliğin kaliteyi düşürdüğü bilinmiyor.
Çözüm
Gözlemlenebilirlik, değerlendirme hattı ve sürüm yönetimini kurup her değişikliği regresyon testine bağlıyoruz.
Kullanım alanları
- Gözlemlenebilirlik
- Değerlendirme hattı
- Maliyet yönetimi
- Sürüm yönetimi
- Kademeli yayın ve geri alma
- İstem ve model sürümlerinin birlikte izlenmesi
Referans mimari
Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.
- Kayıt
- İzleme
- Değerlendirme
- Sürüm
- Geri alma
- İstem deposu ve sürüm etiketleme
- Regresyon kümesi ve yayın kapısı
- Üretim izlerinden değerlendirme kümesine örnek akışı
Güvenlik ve uyum
İzlerde kişisel veri maskeleme ve saklama süresi
Model ve istem değişikliklerinin onay kaydına bağlanması
Değerlendirme kümesinin erişim denetimli tutulması (sızarsa ölçüm değerini yitirir)
Yaklaşımımız
- 01
Discovery
Senaryo, veri ve kısıtların çıkarılması.
- 02
Assessment
Olgunluk ve uygulanabilirlik değerlendirmesi.
- 03
Prototype
En kısa yoldan çalışan ilk sürüm.
- 04
PoC
Tanımlı başarı ölçütüyle kanıt çalışması.
- 05
Production
Güvenlik, ölçek ve operasyon devri.
- 06
Monitoring
Kalite, maliyet ve kayma izleme.
Sık sorulan sorular
Klasik MLOps ile LLMOps arasındaki fark nedir?
Sürümlenen artefakt farklıdır. Klasik MLOps'ta model ağırlıkları ve özellik hattı sürümlenir; LLMOps'ta bunlara istem metni, araç şemaları, geri getirme yapılandırması ve model sağlayıcının sürümü eklenir. Bu beşinin bağımsız değişebilmesi, kök neden analizini zorlaştıran asıl unsurdur.
Sağlayıcı modeli sessizce güncellerse ne olur?
Regresyon kümesi düzenli çalışıyorsa fark ölçümde görünür. Bu yüzden model sürümü pinlenir, pinlenemiyorsa değerlendirme zamanlanmış olarak koşturulur ve çıktı kayması yayın kapısına bağlanır.
Standart bir izleme biçimi var mı?
OpenTelemetry'nin üretken yapay zekâ anlamsal uzlaşımları (gen_ai.* öznitelikleri) model çağrısı, token kullanımı ve araç çağrısı için ortak bir ad alanı tanımlar. Bunu kullanmak izleme altyapısını sağlayıcıdan bağımsız kılar; uzlaşım sürümü bağımlılık dosyasında sabitlenir.
İLETİŞİM
MLOps / LLMOps için değerlendirme oturumu
İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.