LAB · DEMO
Kırmızı Takım Panosu Demosu
Bir dil modeli uygulamasına yönelik saldırı senaryolarının, dokundukları yüzeyin, devrede olan savunmanın ve denendikleri sürümün tek yerde kayda geçtiği pano arayüzü. Kapanmamış bulguların sürüm değişimlerinde görünür kalmasını isteyen güvenlik ve ürün ekipleri için tasarlandı.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Kırmızı Takım Panosu Demosu henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Gösterdiği şey#
Kırmızı takım çalışması dağınık kanıt üretir: bir sohbet dökümü, bir ekran görüntüsü, bir kişinin hatırladığı istem. Pano bu kanıtı senaryo birimine bağlar; her senaryonun bir hedefi, bir tetikleme yolu, bir denenme koşulu ve açık ya da kapalı bir durumu olur. Demo panonun düzenini ve kayıt biriminin alanlarını gösterir; gerçek bir denetimin bulgularını taşımaz.
Pano birimleri#
- Senaryo: saldırının hedefi ve tetikleme yolu; tek cümlelik bir amaç ve yeniden üretilebilir bir girdi tarifi.
- Yüzey: senaryonun dokunduğu bileşen — sistem istemi, araç çağrısı, belge getirme katmanı veya çıktı kanalı.
- Savunma: senaryo denenirken devrede olan kontrol; girdi süzgeci, araç izni, çıktı denetimi ya da hiçbiri.
- Deneme koşulu: hangi sürümde ve hangi yapılandırmayla denendiği. Bu alan sonucu değil koşulu tutar.
- Durum: açık, savunmaya bağlandı, yeniden denenecek, kapsam dışı. Dördünden biri seçilmeden kart panoya girmez.
Arayüz kararları#
| Karar | Neden | Alternatifi neden değil |
|---|---|---|
| Kolonlar duruma göre değil yüzeye göre ayrılıyor | Aynı yüzeye dokunan senaryolar birlikte okunduğunda savunmanın nereye konacağı görünür hale gelir | Duruma göre kolonlama panoyu bir iş takip tahtasına çevirir ve teknik örüntüyü dağıtır |
| Kapanmış senaryolar silinmiyor, ayrı bir katmana taşınıyor | Kapanmış bir senaryo sürüm veya yapılandırma değiştiğinde yeniden açılabilir | Arşivi tümüyle kaldırmak, aynı senaryonun bir süre sonra sıfırdan yazılmasına yol açar |
| İstem metni kartın yüzünde değil, açılır alanda duruyor | Çalışan bir saldırı istemi panoya bakan herkese açık durmamalı, yine de yeniden üretilebilirlik için erişilebilir kalmalı | İstemi kart yüzünde göstermek panoyu ekran paylaşımında ve ekran görüntüsünde riskli hale getirir |
| Şiddet puanı yerine "neyi mümkün kılar" alanı var | Sonucun neye izin verdiği, karar için tek bir ağırlık sayısından daha doğrudan bilgidir | Sayısal şiddet ölçeği, değerlendirenin takdirini nesnel bir ağırlık kılığına sokar |
| Her senaryo tek bir sürüm etiketine bağlı | Bir savunmanın tuttuğu iddiası, denendiği sürüm yazılmadan eksik kalır | Sürümden bağımsız kayıt, eski bir denemeyi bugünkü sistemin özelliği gibi gösterir |
Kullanıcı akışı#
- 1Senaryoyu yaz
Hedef, tetikleme yolu ve beklenen istenmeyen davranış tek kartta yazılır; bu üç alan dolmadan kart kaydedilmez.
- 2Yüzeyi işaretle
Kart dokunduğu bileşenin kolonuna bırakılır; birden çok yüzeye dokunan senaryo ayrı kartlara bölünür.
- 3Deneme koşulunu kaydet
Sürüm, yapılandırma ve devrede olan savunmalar seçilir; seçim tarihiyle birlikte kart geçmişine eklenir.
- 4Durumu güncelle
Senaryo açık kalır, bir savunmaya bağlanır veya kapsam dışına alınır; kapsam dışı seçimi gerekçe yazılmadan kaydedilmez.
- 5Açık kalanları süz
Pano varsayılan görünümünde yalnızca açık ve yeniden denenecek kartları gösterir; kapanmış katman istekle açılır.
Belirsizlik nasıl gösteriliyor#
Panonun asıl işi bilinmeyeni bir yere yazmaktır. "Savunmaya bağlandı" durumu bir garanti değil, o senaryonun yazılı koşullarda beklenen davranışı verdiği iddiasıdır; kart bu iddiayı koşullarından ayırmaz. Hiç denenmemiş bir senaryo panodan gizlenmez, "yeniden denenecek" durumunda görünür kalır.
- Kartta "son denenen sürüm" alanı boşsa senaryo denenmemiş sayılır; boşluk kapatılmaz, kart yüzünde durur.
- Bir savunma değiştiğinde ona bağlı kartların durumu kendiliğinden "yeniden denenecek"e döner; eski deneme yeni yapılandırmaya taşınmaz.
- "Kapsam dışı" durumu gerekçesiyle birlikte gösterilir; gerekçesiz kapsam dışı, kapanmış senaryo gibi okunamaz.
- Pano hiçbir yerde kapsama oranı vermez; yazılan senaryo sayısı, saldırı yüzeyinin ne kadarının görüldüğünü söylemez.
Sınırlılıklar#
Pano bir kayıt yüzeyidir: saldırıları kendisi denemez, savunma önermez ve bir sistemin güvenli olduğunu söylemez. Dolu bir kolon o yüzeye bakıldığını, boş bir kolon ise oraya dair kayıt bırakılmadığını gösterir; ikisi de o yüzeyin sağlam olduğu anlamına gelmez. Demoda görünen kartlar yalnızca düzeni anlatmak için yazılmıştır.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI SecurityPrompt InjectionModelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
- AI SecurityGuardrailsBir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
- Responsible AIResponsible AIYapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.
