Koruma katmanı ve çıktı denetimi eşikleri
Girdi ve çıktı tarafındaki denetim katmanlarının nasıl sıraya konacağını, eşiğin neden bir ürün kararı olduğunu ve zarar sınıfı başına ayrı eşik seçmeyi gösterir. Temellendirme denetimini politika denetiminden ayırır.
Önkoşul: Prompt Injection, Function Calling, Evaluation
BU DERSİN SONUNDA
- Kaçırma ile yanlış alarm arasındaki takası eşik süpürmesiyle ölçmek
- Zarar sınıfı başına ayrı eşik seçip gerekçelendirmek
- Çıktının gittiği her hedefi ayrı bir sızdırma kanalı olarak ele almak
- Temellendirme denetimini politika denetiminden ayrı ölçmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Koruma katmanı bir ayırıcıdır ve her ayırıcı iki hata yapar: kaçırma ve yanlış alarm. Eşiği oynatmak bu ikisi arasında takas yapar; birini düşürürken diğerini yükseltir ve ayırıcının ayırt etme gücünü değiştirmez. İkisini birlikte düşüren şey daha iyi özellikler ve daha iyi etiketlerdir. Bu yüzden doğru soru "eşik kaç olmalı" değil, "bu zarar sınıfında hangi hatanın bedeli daha büyük ve o hatayı kim görüyor" sorusudur.
Teori: iki hata ve asimetrisi#
Yanlış alarm görünürdür: kullanıcı engellenen cevabı görür, şikâyet eder, sayılır. Kaçırma görünmezdir: sızan veri bir olay haline gelene kadar hiçbir sayaca düşmez. Bu görünürlük farkı, ölçüm yapılmadığında eşiği sistematik olarak gevşek tarafa iter, çünkü ekip yalnızca bir hatanın baskısını hisseder.
Düzeltmenin yolu, iki hatanın da sayılabildiği bir küme kurmaktır: kendi trafiğinizden örneklenmiş, elle etiketlenmiş bir değerlendirme seti. Bu set olmadan eşik tartışması bir görüş alışverişine döner. Set varken eşik süpürmesi mekanik bir işe indirgenir: her eşik değerinde kaç kaçırma ve kaç yanlış alarm oluştuğunu yan yana koyarsınız.
Katmanları sıraya koyarken de aynı mantık geçerlidir. Biçimi sabit olan şeyler için deterministik kural kullanın: anahtar kalıbı, iç adres, belirli bir kimlik numarası biçimi. Bunlar eşik tartışması gerektirmez. Sınıflandırıcıyı, kuralların karar veremediği içerikte çalıştırın. Model tabanlı incelemeyi ise en dar bandı, yani belirsiz orta bandı, ele almak için saklayın.
Zarar sınıfı başına ayrı eşik#
| Zarar sınıfı | Kaçırmanın bedeli | Yanlış alarmın bedeli | Eşik kararı |
|---|---|---|---|
| Kişisel veri sızması | Geri alınamaz; bildirim yükümlülüğü doğurabilir | Cevap gereksiz maskelenir, kullanıcı tekrar sorar | Kaçırmayı azaltacak yönde; şüpheliyi tut |
| Kimlik bilgisi veya anahtar çıktısı | Doğrudan yetki kaybı | Meşru teknik cevap engellenir | Biçimi tanımlı olanlar için eşik değil deterministik kural |
| Politika dışı içerik | İtibar ve uyum riski | Kullanıcı işini yapamaz, ürünü terk eder | Dengeli; alt sınıf bazında ayrı karar |
| Temellendirilmemiş iddia | Kullanıcı yanlış karara varır | Model gereğinden sık bilmiyorum der | Metne değil, iddianın kaynağa bağlanabilirliğine bak |
| Araç çağrısı sapması | Yan etki, bazen geri alınamaz | İşlev durur | Çıktı denetimiyle değil, yetki katmanıyla kesilir |
Çıktının gittiği yer bir kanaldır#
- Tarayıcıda biçimlendirilerek gösterilen cevap: görsel adresleri sayfa çizilirken kendiliğinden dış istek üretir, bağlantılar ise tek bir tıklamayla aynı sonucu verir; adresin içine yerleştirilen bir değer böylece dışarı taşınır.
- Başka bir modele giden cevap: birinci modelin çıktısı ikinci modelin girdisidir ve ikinci pencerede enjeksiyon zinciri sıfırdan başlar.
- Kabuk, sorgu veya kod olarak yürütülen cevap: burada denetim, çıktının içeriğine değil, yürütmenin kum havuzuna ve yetkisine dayanmalıdır.
- Gönderilen mesaj: alıcı listesini modelin ürettiği metinden türetmek, sızdırmayı tek adıma indirir. Alıcı her zaman sabit bir kümeden seçilmelidir.
- Kalıcı depoya yazılan cevap: bugün yazdığınız metin yarın geri getirilecek belgedir; sistem kendi çıktısını güvenilir kaynak sanmaya başlar.
Karar: katmanları sıraya koymak#
- 1Deterministik olanı öne al
Biçimi sabit olan her şeyi kuralla yakalayın. Bu katman hızlıdır, açıklanabilir ve eşik tartışması üretmez.
- 2Kapsamı daralt
Sınıflandırıcıyı her cevaba değil, kuralların karar veremediği içeriğe uygulayın. Aksi halde gecikme ve maliyet hiçbir karar değiştirmeden büyür.
- 3Orta bandı ayır
Tek eşik yerine iki eşik kullanın. Aradaki banda düşen cevaplar için engelleme dışında bir yol tanımlayın: maskeleme, kaynak isteme veya insan incelemesi.
- 4Temellendirmeyi ayrı ölç
Politika denetimi ile doğruluk denetimini karıştırmayın. Temellendirme, cevaptaki her iddianın getirilen parçalara bağlanabilirliğidir; bu ölçülebilir, doğruluğun kendisi bu katmanda ölçülemez.
- 5Kararı ham puanla kaydet
Yalnızca geçti ya da engellendi değil, ham puanı da kaydedin. Eşiği değiştirdiğinizde geçmişi yeniden değerlendirebilmek buna bağlıdır.
Sık yapılan hata#
İlk hata, görünür bir olaydan sonra tek bir küresel eşiği sıkmaktır: yanlış alarm yükselir, kullanıcılar ürünün etrafından dolaşmanın yolunu bulur ve bir süre sonra katman tamamen kapatılır. İkinci hata, denetimi aynı pencerede aynı modele sormaktır; o model zaten enjekte edilmiş bir bağlamın içindedir ve kendi çıktısını incelerken kendi kör noktalarını paylaşır. Denetim ayrı bir çağrıda, yalnızca incelenecek içerik ve politika ile yapılmalıdır.
LAB · UYGULAMALI ALIŞTIRMA
Eşiği kendi trafiğinizle kalibre edin
- 1Son dönem cevaplarınızdan yüz tanesini örnekleyin; örneklemin yarısı olağan trafikten, yarısı şikâyet ve uç durum kayıtlarından gelsin.
- 2Bir sayfalık etiket kılavuzu yazın ve her cevaba iki ayrı etiket koyun: kişisel veri içeriyor mu, politika dışı mı. Aynı yirmi örneği arada en az bir gün bırakarak ikinci kez etiketleyin; iki turda farklı etiketlediğiniz örnekler kılavuzun belirsiz kaldığı yerlerdir, kılavuzu o maddelerden netleştirin.
- 3Mevcut denetim katmanınızı bu yüz cevaba uygulayın ve her cevap için yalnızca kararı değil ham puanı da kaydedin. Denetim katmanınız henüz yoksa kişisel veri kalıpları için birkaç düzenli ifade yazıp eşleşme sayısını ham puan olarak kullanın.
- 4Puanı eşik olarak süpürün: her eşik değerinde kaç kaçırma ve kaç yanlış alarm oluştuğunu iki sütunlu bir tabloya yazın.
- 5İki zarar sınıfı için ayrı eşik seçin ve seçimi yazılı gerekçelendirin: hangi hatanın bedeli daha büyük, o hatayı kim görüyor, telafisi ne kadar sürüyor.
- 6Seçilen iki eşikle orta bandı tanımlayın ve bu banda düşen cevaplar için engelleme dışında bir yol yazın; yolu üç gerçek örnek üzerinde deneyip sonucu not edin.
Beklenen çıktı
Etiketli yüz cevap üzerinde iki zarar sınıfı için eşik süpürme tablosu, gerekçeli eşik kararı ve orta bant için tanımlanmış alternatif yol.
Sık sorulan sorular
Yanlış alarmı sıfıra indirebilir miyiz?
Aynı ayırıcıda yalnızca hiçbir şeyi engellemeyerek. İki hata, zararlı ve zararsız içeriğin puan dağılımlarının örtüştüğü bölgeden doğar; eşik oynatmak bu örtüşmeyi küçültmez, yalnızca hangi hatanın payına düşeceğini seçer. İkisini birlikte düşüren tek yol ayırıcıyı iyileştirmektir: daha iyi özellikler, daha temiz etiketler, zarar sınıflarının daha keskin tanımı.
Koruma katmanını modelin kendisine sormak yetmez mi?
Aynı pencerede sorarsanız denetleyici de aynı enjeksiyonun içindedir. Ayrı bir çağrıda, yalnızca incelenecek metin ve politika ile sorulduğunda anlamlı bir katman olur. Biçimi sabit olan şeyler için ise modele hiç sormayın; kural hem daha ucuz hem de açıklanabilir.
Temellendirme denetimi cevabın doğru olduğunu gösterir mi?
Hayır. Yalnızca cevaptaki iddiaların getirilen parçalarda karşılığı olduğunu gösterir. Getirilen parça yanlışsa, temellendirme denetimi bunu yakalamaz; kaynağın kendisinin güncelliği ve doğruluğu ayrı bir işin konusudur. Denetimin değeri, kaynaksız uydurma iddiaları ayıklamasındadır.
LEARN
AI Güvenlik Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.