MLOps / LLMOps Testi — Orta

Çevrim dışı değerlendirme puanları sabitken üretimdeki yanıt kalitesi şikâyetleri artıyor. İlk bakılacak yer neresidir?

• AModel ağırlıklarının bozulup bozulmadığı; dağıtım sonrası sağlama toplamlarının yeniden doğrulanması.
• BDeğerlendirme koşularının sıklığı; günlük yerine haftalık koşmanın sinyali gecikmeli üretmesi.
• CÜretim istek dağılımının değerlendirme kümesiyle örtüşmesi; kümede temsil edilmeyen istek türlerinin payı.
• DÇıkarım gecikmesinin yüzdelikleri; yavaşlayan yanıtların kalite algısını aşağı çekmesi.

Bir geri getirme hattının yeni sürümünde gölge trafik ile kanarya yayım arasındaki temel ayrım nedir?

• AGölgede yeni sürümün çıktısı kullanıcıya ulaşmaz, yalnızca karşılaştırmaya kaydedilir; kanaryada bir kullanıcı payı çıktıyı görür.
• BGölgede trafik iki kez işlendiği için maliyet artar; kanaryada ek çıkarım olmadığından ölçüm bedelsiz sayılır.
• CGölge yöntemi dil modeli hatlarına, kanarya yöntemi sınıflandırıcı hatlarına özgü bir yayım biçimi olarak tanımlanır.
• DGölgede geri alma gerekmez çünkü sürüm hiç üretime girmez; kanaryada geri alma yalnızca el ile tetiklenebilir.

Dil modeli hattında geriye dönük hata ayıklamayı mümkün kılan istek başına kayıt hangisidir?

• Aİsteğin ve yanıtın tam metni ile yanıt süresi; diğer alanların gizlilik gerekçesiyle kayıttan çıkarılması.
• BToplulaştırılmış ölçümler; ortalama gecikme, hata oranı ve saatlik istek sayısının birlikte tutulması.
• CKullanıcı oturum kimliği ve istemci bilgisi ile birlikte yanıt uzunluğunun dağılım olarak saklanması.
• Dİstem sürümü, getirilen parça kimlikleri, model kimliği ve örnekleme ayarlarını taşıyan bir iz kaydı.