Kırmızı Takım Testi — İleri

Araç çağırma yetkisi olan bir asistan için kırmızı takım çalışması kurulurken kapsamın yalnızca model çıktısı değil sistem sınırı üzerinden tanımlanmasının ana gerekçesi nedir?

• AModel çıktısını denetlemek için ayrı bir değerlendirme kümesi gerekmediğinden ölçüm maliyeti belirgin biçimde düşer.
• BSistem sınırı tanımı istem sızdırma denemelerini gereksiz kıldığı için kampanya süresi kısalır ve kapsam sadeleşir.
• CZararın çoğu modelin ürettiği metinde değil, o çıktının tetiklediği araç eyleminde ve yan etkisinde ortaya çıkar.
• DAraç çağrıları günlüklendiği için yanıt kalitesini insan değerlendirmesine başvurmadan puanlamak kolaylaşır.

Kırmızı takım, ajanın okuduğu bir sayfaya gizli yönerge yerleştirip veri sızdırma deniyor. Bu senaryo, doğrudan istem denemelerinden farklı olarak hangi kusuru açığa çıkarır?

• AKullanıcıdan gelmeyen içeriğin de yönerge olarak işlenmesi; girdi kaynaklarının güvenilirliğine göre ayrıştırılmaması.
• BModelin uzun bağlamda önceki talimatları geri plana atması; yönerge sırasının çıktı üzerindeki etkisinin azalması.
• CSistem isteminin yetersiz ayrıntıda yazılması; rol ve görev tanımının kenar durumları kapsamayacak kadar kısa kalması.
• DÇıktı filtresinin zararlı ifadeleri yakalayamaması; sınıflandırıcı eşiğinin üretimde fazla gevşek bırakılmış olması.

Kırmızı takım bulgularının azaltımdan sonra yeniden ölçülmesi için en savunulabilir ölçüm tasarımı hangisidir?

• AAynı saldırıyı azaltımdan sonra bir kez daha deneyip engellendiğini görünce bulguyu kapatmak ve kayıttan düşmek.
• BBaşarılı saldırıları yeniden koşulabilir vakalara çevirip saldırı başarı oranını sürüm başına izlemek.
• CBulguları önem sırasına dizip yalnızca en yüksek üçünü kapatmayı yeterli sayarak kalan maddeleri kapatmak.
• DAzaltımın etkisini genel yardımseverlik puanındaki değişime bakarak dolaylı biçimde değerlendirmek.