Operations
Yapay zekâ sistemlerinde gözlemlenebilirlik, her çağrının izini (trace) — istem, getirilen belgeler, araç çağrıları, token sayısı ve gecikme — tutup sorunun hangi adımda oluştuğunu görebilmektir; yoksa "model kötü cevap verdi" ile "yanlış belge getirildi" ayırt edilemez. OpenTelemetry'nin GenAI semantik kuralları bu telemetriyi standart bir şemaya oturtuyor, böylece izler, değerlendirme skorları ve maliyet aynı arka uçta okunabiliyor. Alt konular: izleme kurulumu, üretim izlerinden değerlendirme kümesi üretmek, uyarı eşikleri ve izlerde kişisel veri maskeleme.
Ajan sistemlerinde hata ayıklama, klasik yazılımdakine benzemiyor: aynı girdi iki farklı yol izleyebiliyor ve yanlış çıktının nedeni tek bir satırda durmuyor. İzlenebilirlik bu yüzden bir gözlemlenebilirlik eklentisi değil, akışın bir parçası. Karar noktaları, araç çağrıları ve bağlam içeriği kaydedilmeden bir ajan hatası yeniden üretilemiyor — ve yeniden üretilemeyen hata düzeltilemiyor.
Kurumlar kendi kodlarının her değişikliğini test ediyor ama sistemin en belirleyici bileşeni — sağlayıcının modeli — habersiz değişebiliyor. Aynı sürüm adı altında davranış kayabiliyor, bir sürüm kullanımdan kaldırılabiliyor, bir güvenlik ayarı sıkılaşabiliyor. Bu değişiklikler sizin dağıtım hattınızdan geçmiyor ve bu yüzden hiçbir kapıda yakalanmıyor.
Aynı konunun öğretim ve ölçüm formatları.
Testler
