İçeriğe atla
SinaptikLabAI KNOWLEDGE PLATFORM

LAB · DEMO

Kırmızı Takım Panosu Demosu

Bir dil modeli uygulamasına yönelik saldırı senaryolarının, dokundukları yüzeyin, devrede olan savunmanın ve denendikleri sürümün tek yerde kayda geçtiği pano arayüzü. Kapanmamış bulguların sürüm değişimlerinde görünür kalmasını isteyen güvenlik ve ürün ekipleri için tasarlandı.

Durum

Geliştiriliyor

Bu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.

Geliştiriliyor

Kırmızı Takım Panosu Demosu henüz yayında değil

Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.

02YÖNTEM

Projenin içi

Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.

Gösterdiği şey#

Kırmızı takım çalışması dağınık kanıt üretir: bir sohbet dökümü, bir ekran görüntüsü, bir kişinin hatırladığı istem. Pano bu kanıtı senaryo birimine bağlar; her senaryonun bir hedefi, bir tetikleme yolu, bir denenme koşulu ve açık ya da kapalı bir durumu olur. Demo panonun düzenini ve kayıt biriminin alanlarını gösterir; gerçek bir denetimin bulgularını taşımaz.

Pano birimleri#

  • Senaryo: saldırının hedefi ve tetikleme yolu; tek cümlelik bir amaç ve yeniden üretilebilir bir girdi tarifi.
  • Yüzey: senaryonun dokunduğu bileşen — sistem istemi, araç çağrısı, belge getirme katmanı veya çıktı kanalı.
  • Savunma: senaryo denenirken devrede olan kontrol; girdi süzgeci, araç izni, çıktı denetimi ya da hiçbiri.
  • Deneme koşulu: hangi sürümde ve hangi yapılandırmayla denendiği. Bu alan sonucu değil koşulu tutar.
  • Durum: açık, savunmaya bağlandı, yeniden denenecek, kapsam dışı. Dördünden biri seçilmeden kart panoya girmez.

Arayüz kararları#

KararNedenAlternatifi neden değil
Kolonlar duruma göre değil yüzeye göre ayrılıyorAynı yüzeye dokunan senaryolar birlikte okunduğunda savunmanın nereye konacağı görünür hale gelirDuruma göre kolonlama panoyu bir iş takip tahtasına çevirir ve teknik örüntüyü dağıtır
Kapanmış senaryolar silinmiyor, ayrı bir katmana taşınıyorKapanmış bir senaryo sürüm veya yapılandırma değiştiğinde yeniden açılabilirArşivi tümüyle kaldırmak, aynı senaryonun bir süre sonra sıfırdan yazılmasına yol açar
İstem metni kartın yüzünde değil, açılır alanda duruyorÇalışan bir saldırı istemi panoya bakan herkese açık durmamalı, yine de yeniden üretilebilirlik için erişilebilir kalmalıİstemi kart yüzünde göstermek panoyu ekran paylaşımında ve ekran görüntüsünde riskli hale getirir
Şiddet puanı yerine "neyi mümkün kılar" alanı varSonucun neye izin verdiği, karar için tek bir ağırlık sayısından daha doğrudan bilgidirSayısal şiddet ölçeği, değerlendirenin takdirini nesnel bir ağırlık kılığına sokar
Her senaryo tek bir sürüm etiketine bağlıBir savunmanın tuttuğu iddiası, denendiği sürüm yazılmadan eksik kalırSürümden bağımsız kayıt, eski bir denemeyi bugünkü sistemin özelliği gibi gösterir

Kullanıcı akışı#

  1. 1Senaryoyu yaz

    Hedef, tetikleme yolu ve beklenen istenmeyen davranış tek kartta yazılır; bu üç alan dolmadan kart kaydedilmez.

  2. 2Yüzeyi işaretle

    Kart dokunduğu bileşenin kolonuna bırakılır; birden çok yüzeye dokunan senaryo ayrı kartlara bölünür.

  3. 3Deneme koşulunu kaydet

    Sürüm, yapılandırma ve devrede olan savunmalar seçilir; seçim tarihiyle birlikte kart geçmişine eklenir.

  4. 4Durumu güncelle

    Senaryo açık kalır, bir savunmaya bağlanır veya kapsam dışına alınır; kapsam dışı seçimi gerekçe yazılmadan kaydedilmez.

  5. 5Açık kalanları süz

    Pano varsayılan görünümünde yalnızca açık ve yeniden denenecek kartları gösterir; kapanmış katman istekle açılır.

Belirsizlik nasıl gösteriliyor#

Panonun asıl işi bilinmeyeni bir yere yazmaktır. "Savunmaya bağlandı" durumu bir garanti değil, o senaryonun yazılı koşullarda beklenen davranışı verdiği iddiasıdır; kart bu iddiayı koşullarından ayırmaz. Hiç denenmemiş bir senaryo panodan gizlenmez, "yeniden denenecek" durumunda görünür kalır.

  • Kartta "son denenen sürüm" alanı boşsa senaryo denenmemiş sayılır; boşluk kapatılmaz, kart yüzünde durur.
  • Bir savunma değiştiğinde ona bağlı kartların durumu kendiliğinden "yeniden denenecek"e döner; eski deneme yeni yapılandırmaya taşınmaz.
  • "Kapsam dışı" durumu gerekçesiyle birlikte gösterilir; gerekçesiz kapsam dışı, kapanmış senaryo gibi okunamaz.
  • Pano hiçbir yerde kapsama oranı vermez; yazılan senaryo sayısı, saldırı yüzeyinin ne kadarının görüldüğünü söylemez.

Sınırlılıklar#

Pano bir kayıt yüzeyidir: saldırıları kendisi denemez, savunma önermez ve bir sistemin güvenli olduğunu söylemez. Dolu bir kolon o yüzeye bakıldığını, boş bir kolon ise oraya dair kayıt bırakılmadığını gösterir; ikisi de o yüzeyin sağlam olduğu anlamına gelmez. Demoda görünen kartlar yalnızca düzeni anlatmak için yazılmıştır.

04DİĞER PROJELER

Lab'dan

BUILD

Hesap tuttu, sıra uygulamada

Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.