Guardrails
Koruma bantları
Bir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
ÖnkoşulLLM
Kısa cevap
Koruma bantları, modelin iyi niyetine bırakılmayan denetimlerdir. Sistem isteminde "şunu yapma" yazmak bir tercih beyanıdır; koruma bandı ise yapılmasını teknik olarak engelleyen bir katmandır.
Üç katman#
| Katman | Ne denetler | Örnek |
|---|---|---|
| Girdi | Kullanıcıdan ve kaynaktan geleni | Kişisel veri maskeleme, konu dışı istek reddi |
| Çıktı | Modelin ürettiğini | Şema doğrulama, kaynaksız iddia reddi, gizli veri taraması |
| Eylem | Araç çağrılarını | Yetki kısıtı, onay kapısı, çıkış izin listesi |
Deterministik ve model tabanlı denetim#
Deterministik denetimler kurallıdır: şema doğrulama, düzenli ifade, izin listesi, sayısal aralık kontrolü. Öngörülebilir ve denetlenebilirler. Model tabanlı denetimler bir sınıflandırıcı veya ikinci bir dil modeli kullanır; esnek ama kendisi de hata yapabilir ve yeni bir saldırı yüzeyi ekler.
- Mümkün olan her yerde deterministik denetim tercih edin; ölçülebilir ve kararlıdır.
- Model tabanlı denetimi yalnızca kuralla yazılamayan durumlar için kullanın.
- Her denetimin yanlış pozitif oranını ölçün; aşırı katı bir bant ürünü kullanılamaz kılar.
- Reddetme mesajını kullanıcıya faydalı biçimde yazın; sadece "yapamam" demeyin.
Ölçüm#
Koruma bantları iki yönlü ölçülür: engellenmesi gerekeni engelliyor mu (yakalama oranı) ve engellenmemesi gerekeni geçiriyor mu (yanlış pozitif oranı). İkincisi ölçülmediğinde, güvenlik adına kullanılabilirlik sessizce kaybedilir.
Sık sorulan sorular
Koruma bandı modelin yerine mi geçer?
Hayır, modelin etrafını çevreler. Model davranışını iyileştirme (eğitim, istem) ile sınırlama (koruma bandı) birbirini tamamlar; biri diğerinin yerine kullanılamaz.
Her isteği bir sınıflandırıcıdan geçirmek gecikmeyi bozar mı?
Bozabilir. Pratik yaklaşım, denetimi riske göre kademelendirmek: yalnızca okuma yapan akışlarda hafif, yazma ve dışa dönük eylem içeren akışlarda ağır denetim.
Güncelleme geçmişi
- v1.0İlk yayın.
LEARN
Guardrails konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.