LAB · AÇIK KAYNAK
Koruma Katmanı Kiti
Girdi ve çıktı tarafında birbirinden bağımsız kontroller kuran, her kararın gerekçesini kayda geçiren koruma katmanı. Tek bir filtrenin yeterli sayılmaması gerektiği varsayımıyla tasarlanmıştır.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Koruma Katmanı Kiti henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Kit, girdiyi ve çıktıyı ayrı ayrı denetleyen katmanları, aralarındaki karar sırasını ve her kararın gerekçesini taşıyan kaydı tarif eder.
Ne çözüyor?#
Zararlı girdiyi tek bir desen listesiyle engellemeye çalışan bir kurulum iki yönde de hata verebilir: listede olmayan bir istem enjeksiyonu içeri girer, listeye takılan masum metin gereksizce engellenir. Kit korumayı tek bir kapı olarak değil, hata biçimleri birbirinden farklı katmanlar dizisi olarak kuruyor ve hangi katmanın hangi kararı verdiğini kayda yazıyor. Amaç engelleme oranını yükseltmek değil, kararın gerekçeli ve sonradan gözden geçirilebilir olması.
Bileşenler#
- Girdi sınıflandırıcı — isteği amaç bakımından etiketler; engelleme değil yönlendirme kararı üretir.
- Kaynak ayrıştırıcı — kullanıcı metnini, belge içeriğini ve araç yanıtını ayrı alanlarda tutar; talimat yalnız kullanıcı alanından okunur.
- Yetki kapısı — bir aracın çağrılabilir olup olmadığını isteğin geldiği yüzeye göre değerlendirir, model kararına tek başına güvenmez.
- Çıktı denetleyicisi — biçim uygunluğu, sızdırılan sır ve istenmeyen içerik kontrollerini birbirinden bağımsız yürütür.
- Karar kaydı — hangi katmanın hangi girdi üzerinde ne karar verdiğini ve gerekçesini yazar.
- Gözden geçirme kuyruğu — sınırda kalan kararları insan incelemesine ayırır; kendi başına sonuç üretmez.
Kurulum akışı#
- 1Metin kaynaklarını etiketle
Kullanıcı girdisini, belge içeriğini ve araç yanıtını ayrı alanlarda taşı; hepsini birleştiren tek bir dizge kullanma.
- 2Katmanları sırala
Her katmanın kararını geçir, işaretle veya durdur olarak ayır ve sırayı yapılandırmada açıkça yaz.
- 3Yetkiyi bağlamdan türet
Yan etkili araçları yalnızca isteğin geldiği yüzeye tanımlı yetkiler kadar aç; yetkiyi istem metnine bakarak verme.
- 4Kararları kayda bağla
Engellenen ve işaretlenen istekleri gerekçesiyle sakla, gözden geçirme kuyruğunu bu kayıttan besle.
Yapılandırmaya bırakılan kararlar#
| Karar | Seçenekler | Karar ölçütü |
|---|---|---|
| Engelleme sertliği | Yalnız işaretle, kullanıcıya uyarı göster, isteği durdur | Yanlış engellemenin kullanıcıya çıkardığı maliyet |
| Katman sırası | Hızlı kural önce, model tabanlı kontrol önce, ikisini paralel çalıştır | Gecikme bütçesi ve katmanların hata biçimi |
| Araç yetkisi | Sabit liste, isteğe göre daraltma, her çağrıda onay | Araç eyleminin geri alınabilir olup olmadığı |
| Kayıt içeriği | Yalnız karar, kararla birlikte özet, tam girdi | Gizlilik yükü ile inceleme ihtiyacı arasındaki denge |
| Gözden geçirme eşiği | Kapalı, yalnız sınırdaki kararlar, örnekleme ile | İnsan inceleme kapasitesi |
Kapsam dışı#
Kit bir güvenlik ürünü değil ve tek başına yeterli bir koruma sağladığı varsayılmamalı. Kimlik doğrulama, yetki yönetimi, ağ düzeyi kontroller ve sır yönetimi kapsam dışında. Katmanların hangi saldırı biçimlerini yakalayacağı da yapılandırmaya bağlı: kit kararı ve gerekçesini kayda geçiriyor, kararın yeterli olup olmadığını ölçmüyor.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI SecurityGuardrailsBir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
- AI SecurityPrompt InjectionModelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.
