KURUMSAL HİZMET
Yapay Zekâ Gözlemlenebilirliği
Model çağrısı, geri getirme ve araç kullanımını uçtan uca izlenebilir kılan kayıt ve izleme düzeni.
Problem
Kullanıcı "sistem yanlış cevap verdi" diyor; elde yalnızca bir istek kaydı var. Hangi belgelerin geri getirildiği, hangi istem sürümünün kullanıldığı, kaç araç çağrısı yapıldığı ve nerede beklendiği görünmüyor. Sorun her seferinde yeniden üretilmeye çalışılıyor ve çoğu zaman üretilemiyor.
Çözüm
İzleme birimini istek kaydından iz ağacına çeviriyoruz: her model çağrısı, geri getirme, araç çağrısı ve koruma kararı ayrı bir düğüm olarak kaydedilir. Kayıt biçimi sağlayıcıdan bağımsız tutulur; OpenTelemetry'nin üretken yapay zekâ anlamsal uzlaşımları temel alınır. Kullanıcı geri bildirimi ve değerlendirme puanları aynı ize bağlanır, böylece şikâyetten kök nedene tek adımda inilir.
Kullanım alanları
- Şikâyet ve hata olaylarının kök neden analizi
- Gecikme darboğazlarının adım bazında tespiti
- Token ve maliyet kullanımının kullanım senaryosuna göre dağıtılması
- Geri getirilen belgelerin cevapla birlikte incelenmesi
- Kullanıcı geri bildiriminin ize bağlanması
- Üretim izlerinden değerlendirme örneği toplama
Referans mimari
Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.
- İz ağacı: oturum, istek, model çağrısı, geri getirme, araç çağrısı, koruma kararı
- Anlamsal uzlaşım: gen_ai.* öznitelikleriyle model, token ve araç bilgisinin standart adlandırılması
- Sürüm bağlama: istem, model, geri getirme yapılandırması ve kod sürümü
- Maliyet ve gecikme türetimi: adım bazında toplama
- Geri bildirim bağlama: kullanıcı işareti ve değerlendirme puanının aynı ize yazılması
- Uyarı: hata oranı, gecikme ve maliyet sapmalarının eşiğe bağlanması
- Saklama: izlerde maskeleme ve süre politikası
Güvenlik ve uyum
İstem ve çıktı içeriğinin kişisel veri taşıdığı kabulüyle maskelenmesi
Tam içerik saklanacaksa erişim denetimli ve süreli tutulması
İzlere erişimin rol bazlı verilmesi; geliştirici ile destek ekibinin farklı görünürlüğe sahip olması
Uzlaşım sürümünün bağımlılık dosyasında sabitlenmesi; sessiz öznitelik değişiminin kör noktaya yol açmaması
Yaklaşımımız
- 01
Discovery
Senaryo, veri ve kısıtların çıkarılması.
- 02
Assessment
Olgunluk ve uygulanabilirlik değerlendirmesi.
- 03
Prototype
En kısa yoldan çalışan ilk sürüm.
- 04
PoC
Tanımlı başarı ölçütüyle kanıt çalışması.
- 05
Production
Güvenlik, ölçek ve operasyon devri.
- 06
Monitoring
Kalite, maliyet ve kayma izleme.
Sık sorulan sorular
Mevcut uygulama izleme aracımız yetmez mi?
Altyapı olarak yeter, alan modeli olarak yetmez. Klasik izleme istek süresi ve hata kodunu gösterir; yapay zekâ akışında sorunun kaynağı genellikle hangi belgenin geri getirildiği ve hangi istem sürümünün kullanıldığıdır. Çözüm aracı değiştirmek değil, aynı araca alan bazlı öznitelikler eklemek.
İstemleri ve çıktıları saklamak riskli değil mi?
Riskli, bu yüzden varsayılan tam saklama olmamalı. Uygulanabilir düzen: üst veriyi (token, model, gecikme, hangi belge kimliği) her zaman saklamak, içeriği maskelemek ve tam içeriği yalnızca sınırlı süreyle, erişim denetimli bir alanda tutmak. Bu ayrım kök neden analizini büyük ölçüde korur.
Neden standart bir uzlaşım kullanılıyor?
Sağlayıcı ve araç değiştirme özgürlüğünü korumak için. Özel adlandırmayla kurulmuş bir izleme düzeni, model sağlayıcısı veya izleme aracı değiştiğinde panoların yeniden yazılmasını gerektirir. Standart öznitelik adlarıyla kurulan düzen bu geçişi taşınabilir kılar.
İLETİŞİM
Yapay Zekâ Gözlemlenebilirliği için değerlendirme oturumu
İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.