KURUMSAL HİZMET
Model Değerlendirme Hattı
Yapay zekâ çıktısının kalitesini tekrarlanabilir, sürümlenebilir ve otomatik ölçen altyapı.
Problem
Kalite "iyi görünüyor" ile ölçülüyor. İstem değiştirildiğinde neyin bozulduğu ancak kullanıcı şikâyetiyle anlaşılıyor, çünkü karşılaştırılabilir bir ölçüm kümesi yok. Ekip her değişiklikten sonra aynı beş örneği elle deniyor ve bu beş örnek de zamanla hep geçen örnekler haline geliyor.
Çözüm
Görev bazlı değerlendirme kümeleri kuruyoruz: gerçek kullanımdan seçilmiş girdiler, beklenen davranış tanımı ve puanlama yöntemi. Puanlama katmanlı olur: deterministik kontroller (biçim, şema, zorunlu alan, yasaklı içerik), geri getirme ölçümleri ve gerektiğinde model tabanlı değerlendirme. Hat sürüm kontrolünde durur, her değişiklikte koşar ve sonuç yayın kapısına bağlanır.
Kullanım alanları
- İstem, model ve geri getirme değişikliklerinin regresyona karşı sınanması
- Model sağlayıcı ve sürüm karşılaştırması
- Geri getirme kalitesinin üretim kalitesinden ayrı ölçülmesi
- Yayın kapısı: eşiğin altında kalan değişikliğin engellenmesi
- Üretim izlerinden değerlendirme kümesinin büyütülmesi
- Uzman etiketleme turlarının yönetilmesi
Referans mimari
Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.
- Küme tanımı: görev, girdi, beklenen davranış, puanlama yöntemi
- Deterministik katman: şema geçerliliği, zorunlu alan, biçim, yasaklı içerik
- Geri getirme katmanı: doğru belgenin ilk sonuçlarda bulunma oranı
- Model tabanlı değerlendirme: ölçüt yazılı, kalibrasyonu insan örneklemesiyle kontrol edilen
- Sürümleme: küme, istem ve model sürümlerinin birlikte kaydı
- Yayın kapısı: eşik ve istisna onayı
- Büyütme: üretim izlerinden örnekleme ve etiket kuyruğu
Güvenlik ve uyum
Değerlendirme kümesinin erişim denetimli tutulması; sızdığında ölçüm değerini yitirmesi
Kümedeki gerçek verinin maskelenmesi veya sentetik eşdeğerle değiştirilmesi
Güvenlik testlerinin (istem enjeksiyonu, veri sızdırma) ayrı bir kümede tutulması
Model tabanlı değerlendiricinin kararlarının kayıt altına alınması
Yaklaşımımız
- 01
Discovery
Senaryo, veri ve kısıtların çıkarılması.
- 02
Assessment
Olgunluk ve uygulanabilirlik değerlendirmesi.
- 03
Prototype
En kısa yoldan çalışan ilk sürüm.
- 04
PoC
Tanımlı başarı ölçütüyle kanıt çalışması.
- 05
Production
Güvenlik, ölçek ve operasyon devri.
- 06
Monitoring
Kalite, maliyet ve kayma izleme.
Sık sorulan sorular
Modelin modeli değerlendirmesi güvenilir mi?
Kalibrasyonu izlenirse kullanılabilir, tek dayanak olursa değil. Model tabanlı değerlendirici kendi yanlılığını taşır ve sağlayıcı sürümü değiştiğinde puanlaması kayabilir. Uygulanabilir düzen, deterministik kontrolleri önce koşturmak ve model tabanlı puanların bir bölümünü düzenli olarak insan örneklemesiyle doğrulamaktır.
Küme kaç örnekten oluşmalı?
Örnek sayısından önce örnek çeşitliliği önemli: kümede her hata biçiminden en az bir temsilci bulunmalı. Hep geçen örneklerden oluşan büyük bir küme, az sayıda ama zor örnekten oluşan bir kümeden daha az bilgi verir. Küme, üretimde görülen her yeni hata biçimiyle büyür.
Değerlendirme hattı ne zaman kurulmalı?
İlk üretim sürümünden önce. Sonradan kurulan hat, geçmiş sürümlerle karşılaştırma imkânını kaybettiği için ilk işi temel çizgiyi yeniden üretmek olur. Küçük bir kümeyle erken başlamak, büyük bir kümeyle geç başlamaktan daha çok iş görür.
İLETİŞİM
Model Değerlendirme Hattı için değerlendirme oturumu
İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.