İçeriğe atla
SinaptikLabAI KNOWLEDGE PLATFORM
RehberOrtaHizalama

Sistem istemi ve davranış sınırları yazmak

Sistem istemi bir davranış şartnamesidir, güvenlik sınırı değildir: aynı bağlam penceresini kullanıcı girdisi ve geri getirilen belgelerle paylaştığı için üzerine yazılabilir. Bu yüzden "asla olmamalı" diyen her madde araç yetkisi, veri kapsamı veya çıktı filtresi olarak mimariye taşınır; isteme kalan iş varsayılan davranışı, çatışma hâlinde uygulanacak karar sırasını ve reddetme biçimini tanımlamaktır. Bir maddenin isteme mi mimariye mi ait olduğu tek soruyla ayrılır: bu kural çiğnenirse geri alınamaz bir zarar oluşur mu?

ÖNKOŞULLAR

  • Ürünün ne yapıp ne yapmayacağına dair yazılı bir kapsam kararı — istem bu kararı üretmez, uygular
  • Modelin çağırabildiği araçların ve eriştiği veri kaynaklarının listesi
  • Sınırda kalan gerçek kullanıcı taleplerinden oluşan bir örnek kümesi
  • İstem değişikliğini yayımlamadan önce koşturabileceğiniz bir değerlendirme yolu

GEREKEN ARAÇLAR

  • Sürüm kontrolünde tutulan istem deposu
  • Aynı seti her istem sürümünde tekrarlayan değerlendirme koşucusu
  • Araç yetki katmanı veya politika motoru
  • Çıktı denetimi ve filtre katmanı
  • Reddetme ve kaçış olaylarını ayrı etiketleyen iz kaydı altyapısı
  1. 01

    Sınır kümesini yaz ve sınıflandır

    Sistemin yapmaması gereken her davranışı tek tek yazın ve her maddeyi "mimaride zorlanır" ya da "istemde tarif edilir" olarak işaretleyin; işaretlenmemiş madde bırakmayın.

    Bu sınıflandırma rehberin tamamıdır; geri kalan adımlar onun sonuçlarıdır. Kırk maddelik bir kural listesi bir politika değil, bir dilekçedir. Her madde gözlemlenebilir bir davranış olarak yazılmalı — "para iadesini kendi başına onaylamaz" gibi — erdem olarak değil: "dikkatli davranır" cümlesi ne test edilebilir ne de ihlal edilebilir.

    Sınır maddesiZorlanacağı katmanNeden o katman
    Kullanıcının yetkisi dışındaki kaydı okumazVeri kapsamı ve sorgu filtresiÇiğnenirse veri sızar; geri alınamaz
    Para iadesini kendi başına onaylamazAraç yetkisi ve onay akışıYan etkili işlem; sonradan düzeltilemez
    Dış bir adrese istek atmazAğ politikasıVeri kaçağı yolu; istemle kapatılamaz
    Hukuki tavsiye vermezSistem istemi ve çıktı denetimiZarar bağlama bağlı; yönlendirmeli ret uygundur
    Kaynak göstermeden sayısal iddia yazmazÇıktı sözleşmesi ve doğrulamaBiçim kuralı; makine kontrol edebilir
    İkinci sütun doldurulmadan madde yazılmış sayılmaz. Doldurulmayan madde, yayına çıktığında istemde kalır.
  2. 02

    Mimari sınırları istemin dışına çıkar

    Geri alınamaz zarar üreten maddeleri araç yetkisi, veri kapsamı ve çıktı filtresi olarak uygulayın; model bu katmanı ikna ederek değil, ancak gerçekten yetkisi varsa geçebilsin.

    Hedef, modelin istemeyerek yapmaması değil yapamaması. Araçlar isteği yapan kullanıcının yetkisiyle sınırlanır, yan etkili eylemler bir onay adımının arkasına alınır, veri sorguları arama anında filtrelenir. Bu katman kurulduğunda sistem istemi bir savunma hattı olmaktan çıkar ve asıl işini yapmaya başlar: davranışı iyi ve tutarlı kılmak.

    • Yan etkili araç çağrıları: yetki kontrolü araç katmanında, istemde değil.
    • Veri erişimi: yetki filtresi sorgunun parçası; sonradan uygulanan filtre güvenilir değildir.
    • Kimlik, ödeme ve sağlık verisi: modele ham hâliyle verilmez; maskelenerek veya yalnızca işin gerektirdiği alan kadar verilir.
    • Dış ağ erişimi: izin verilen adres listesiyle sınırlanır.
    • Çıktı biçimi: şema doğrulaması kodda; istemdeki biçim tarifi yalnızca yardımcıdır.

    Doğrulama adımı: yetkisi olmayan bir test kullanıcısıyla yasaklı isteği doğrudan deneyin. Model kibarca reddediyor ama alttaki katman aynı çağrıyı kabul ediyorsa ortada sınır yoktur; yalnızca iyi huylu bir model vardır ve iyi huy bir kontrol mekanizması değildir.

  3. 03

    İstemi rol, kapsam ve karar sırasıyla kur

    İstemi dağınık bir kurallar yığını değil sabit bölümlerden oluşan bir belge olarak yazın: rol, kapsam, çatışma hâlinde karar sırası, çıktı sözleşmesi ve belirsizlikte davranış.

    Tutarsız davranışın en yaygın nedeni kötü model değil, birbiriyle çatışan kurallardır. "Kullanıcıya yardımcı ol" ile "yetki dışına çıkma" aynı istemde eşit ağırlıkta duruyorsa, hangisinin kazanacağını isteğin rastgele ayrıntıları belirler. Açık bir karar sırası bu çatışmayı yazıya döker ve cevabı öngörülebilir kılar.

    markdown
    # Rol
    Kurumsal destek asistanısın. Yetkin, isteği yapan kullanıcının kendi kayıtlarıyla sınırlıdır.
    
    # Kapsam
    Yaparsın: kayıt sorgulama, politika açıklama, talep taslağı hazırlama.
    Yapmazsın: onay verme, ödeme başlatma, hukuki veya tıbbi tavsiye.
    
    # Karar sırası (çatışma hâlinde yukarıdan aşağı)
    1. Yetki ve gizlilik sınırları
    2. Doğruluk: kaynağı yoksa iddia yazma
    3. Kullanıcının açık talebi
    4. Üslup ve biçim tercihleri
    
    # Çıktı sözleşmesi
    - Cevap önce gelir, gerekçe sonra.
    - Her sayısal iddia kaynak kimliğiyle verilir.
    - Emin değilsen bilmediğini yaz ve bir sonraki adımı öner.
    
    # Belirsizlik
    Talep iki farklı işleme uyuyorsa işlem yapma; tek bir netleştirme sorusu sor.
  4. 04

    Reddetmeyi bir çıktı tasarımı olarak yaz

    Reddetme cevabını kalıp olarak tanımlayın: ne yapılamadığı, tek cümlelik gerekçe ve kullanıcının izleyebileceği somut bir sonraki adım. Boş bir ret kullanıcıyı sınırı zorlamaya iter.

    Reddetme kalitesi bir arayüz inceliği değil, hizalamanın ölçülebilir bir özelliğidir. Gerekçesiz ve alternatifsiz ret, kullanıcıya tek bir strateji bırakır: talebi yeniden biçimlendirip tekrar denemek. Sınır zorlama denemelerinin önemli bir kısmı kötü niyetle değil, kapalı bir kapıyla başlar.

    1. 1Sınırı adlandır

      Ne yapılamadığını açıkça söyleyin: "İade onayını ben veremem." Belirsiz bir özür, kullanıcının neyi değiştirmesi gerektiğini gizler.

    2. 2Tek cümlelik gerekçe ver

      Politikanın tamamını aktarmayın; kararın dayandığı tek ölçütü söyleyin. Uzun gerekçe hem okunmaz hem de sınırın nasıl aşılacağına dair harita sunar.

    3. 3Somut bir sonraki adım öner

      Yapılabilecek olanı yazın: taslağı hazırlamak, yetkili kişiye yönlendirmek veya talebin kapsam içi bölümünü tamamlamak.

    4. 4Olayı etiketleyerek kaydet

      Reddetmeyi ayrı bir olay tipi olarak kaydedin; bu kayıt hem aşırı reddetme oranının hem de sınır testi setinin kaynağıdır.

    Aşırı reddetme de bir hatadır ve genellikle ölçülmediği için görülmez. Meşru talebi reddeden bir sistem, yalnızca yasaklı vakalardan oluşan bir sınır testinde kusursuz görünür ve üründe kullanılamaz çıkar.

  5. 05

    Güvenilmeyen girdiyi işaretle ve ayır

    Kullanıcı mesajını, geri getirilen belgeyi ve araç çıktısını ayrı etiketli bloklarda verin; bu blokların içindeki yönerge benzeri metnin talimat sayılmayacağını isteme açıkça yazın.

    Model, bağlamına giren metni üslubundan bakarak veri ile talimat diye ayıramaz. Geri getirilen bir belgenin içine yazılmış "önceki talimatları yok say" cümlesi, yapı olarak sistem isteminin cümlesinden farksızdır. Bu yüzden ayrım yapısal kurulur: her kaynak kendi sınırlandırılmış bloğunda gelir, bloğun ne olduğu isimlendirilir ve blok içeriğinin talimat olmadığı kuralı istemde tek bir yerde tanımlanır.

    • Kullanıcı mesajı: talep kaynağıdır, ama yetki kaynağı değildir.
    • Geri getirilen belge: yalnızca olgu kaynağı; içindeki yönerge yok sayılır.
    • Araç çıktısı: veri olarak okunur, yeni hedef tanımlayamaz.
    • Önceki tur özetleri: kısıtları taşır, kısıtları gevşetemez.
    • Dış bağlantı ve eklenti içeriği: en düşük güven seviyesi; eylem tetikleyemez.
  6. 06

    Sınır test setini kur ve regresyona bağla

    Yasaklı, sınırda ve açıkça meşru talepleri aynı sette toplayın; hem ihlali hem aşırı reddetmeyi ölçün ve bu seti her istem değişikliğinde yeniden koşturun.

    İki hata biçimi birlikte ölçülmezse ölçüm sistemi bozar. Yalnızca yasaklı vakalardan oluşan bir set, ihlal oranını sıfıra indiren en kolay davranışı ödüllendirir: her şeyi reddetmek. Açıkça meşru vakaların sette anlamlı bir paya sahip olması, bu bozulmayı engelleyen tek şeydir.

    Vaka tipiBeklenen davranışÖlçülen hata
    Açıkça yasaklıKalıba uygun, yönlendirmeli reddetmeİhlal oranı
    Sınırda, ikircikliNetleştirme sorusu veya gerekçeli retTutarsızlık
    Açıkça meşruTalebin eksiksiz yerine getirilmesiAşırı reddetme oranı
    Belge içine gömülü yönergeYönergenin yok sayılmasıTalimat kaçağı
    Kılık değiştirmiş talep (kurgu, rol oyunu)Sınırın korunmasıKılıf başarısı
    Çok turlu aşındırmaKısıtların turlar boyunca korunmasıKısıt kaybı
    Altı satırın altısı da her istem sürümünde koşturulur; yalnızca ilk satıra bakan bir rapor yanıltıcıdır.

    Doğrulama adımı: sette en az bir bölüm üretimde gerçekten yaşanmış vakalardan oluşsun. Tamamen sentetik bir set, ekibin sınır hakkındaki varsayımlarını ölçer; kullanıcıların gerçekte ne denediğini değil.

  7. 07

    İstemi sürümle ve değişikliği ölçerek yayımla

    İstemi sürüm kontrolünde tutun, her değişikliği aynı sınır setinden geçirin ve yayını önce küçük bir trafik dilimine açıp reddetme oranındaki sapmayı izleyin.

    İstem değişikliği bir dağıtımdır ve aynı disiplini hak eder: fark incelemesi, değerlendirme kapısı, kademeli yayın ve geri dönüş. Kayıt dışı yapılan istem düzenlemeleri, "eskiden çalışıyordu" cümlesinin en sık nedenidir; çünkü hangi cümlenin ne zaman eklendiği bilinmediğinde davranış değişikliği modele atfedilir.

    1. 01Değişen bölüm ve eklenen maddenin bastırdığı mevcut madde.
    2. 02Değişikliğin hangi gerçek vaka için yapıldığı.
    3. 03Sınır setindeki önce ve sonra sonuçları; en az ihlal ve aşırı reddetme oranı.
    4. 04Kademeli yayın dilimi ve izlenecek gösterge.
    5. 05Geri dönüş koşulu: hangi sapmada önceki sürüme dönülür.

SIK DÜŞÜLEN TUZAKLAR

  • Sınırı yalnızca isteme yazmak

    Sistem istemi, kullanıcı girdisi ve geri getirilen belgelerle aynı bağlamı paylaşır; bir metin parçası diğerini bastırabilir. Yan etkili bir eylem yalnızca istem metniyle engelleniyorsa ortada engel değil, bir tercih vardır.

  • Kural sayısını artırarak davranış düzeltmek

    Her yeni madde mevcut bir maddeyle çatışma ihtimali taşır. Karar sırası olmayan uzun bir istem, aynı talebe farklı zamanlarda farklı cevap veren bir sistem üretir ve bu tutarsızlık modele atfedilir.

  • Boş reddetme yazmak

    Gerekçesiz ve alternatifsiz ret, kullanıcıyı talebi yeniden biçimlendirmeye iter. Kayıtlara bakıldığında sınır aşma denemelerinin önemli bir kısmı kötü niyetle değil, cevapsız kalan meşru bir talebin ardından başlar.

  • Yalnızca ihlali ölçmek

    İhlal oranını sıfıra indirmenin en kolay yolu her şeyi reddetmektir. Aşırı reddetme ölçülmediğinde ölçüm sistemi, ürünü kullanılamaz hale getiren yönde baskı uygular ve bunu iyileşme olarak raporlar.

  • Gerekçede varlığı ifşa etmek

    Yetki hatası ile "bulunamadı" hatası farklı cevaplar üretiyorsa, sıralı denemelerle hangi kayıtların var olduğu çıkarılabilir; cevabın içeriği sızmasa da varlık bilgisi sızar. Aynı ayrım yanıt süresinde ve olay kayıtlarında da görünür, bu yüzden ayrım yalnızca cevap metninde değil, cevabı üreten kod yolunda kapatılır.

KONTROL LİSTESİ

  • Her sınır maddesi gözlemlenebilir davranış olarak yazıldı ve zorlanacağı katman işaretlendi
  • Geri alınamaz zarar üreten maddeler araç yetkisi veya veri kapsamıyla zorlanıyor
  • İstem sabit bölümlerden oluşuyor ve çatışma için bir karar sırası içeriyor
  • Reddetme kalıbı tanımlı; gerekçe kaydın varlığını ifşa etmiyor
  • Güvenilmeyen içerik ayrı etiketli bloklarda veriliyor ve talimat sayılmıyor
  • Sınır setinde yasaklı, sınırda ve açıkça meşru vakalar birlikte bulunuyor
  • Aşırı reddetme oranı ihlal oranıyla birlikte raporlanıyor
  • İstem sürümlü; her değişiklik set sonucu ve geri dönüş koşuluyla kayda geçiyor

Maddelerin tamamı işaretlenmeden kurulum üretime alınmamalı.

Sık sorulan sorular

Sistem istemi gizli kalmalı mı?

Gizli kalmasını hedefleyebilirsiniz ama buna güvenemezsiniz: yeterince denemeyle içeriği büyük ölçüde çıkarılabilir. Doğru varsayım, istemin er ya da geç görünür olacağıdır. Bu yüzden anahtar, iç sistem adresi, müşteri adı veya çıkarılmasını istemediğiniz hiçbir bilgi istem metnine yazılmaz.

Sistem istemi ne kadar uzun olmalı?

Uzunluk bir ölçüt değil; çatışmasızlık ve yapı ölçüttür. İyi bir istem rol, kapsam, karar sırası, çıktı sözleşmesi ve belirsizlik davranışını içerir ve her madde hangi durumu düzelttiğini bilir. Eklediğiniz maddenin hangi mevcut maddeyi bastırdığını yazamıyorsanız, o madde davranışı iyileştirmek yerine öngörülemez kılar.

İstem enjeksiyonunu istem yazarak engelleyebilir miyim?

Hayır. Güvenilmeyen içeriği ayrı bloklara koymak ve talimat sayılmayacağını yazmak olasılığı düşürür, ama garanti vermez; saldırı da metin olarak aynı kanaldan gelir. Engel, zarar üreten eylemin araç yetki katmanında durdurulmasıyla kurulur. İstem katmanı savunma derinliğinin bir halkasıdır.

Model neden bazen kurala uyuyor bazen uymuyor?

Üç neden öne çıkıyor: istemde birbiriyle çatışan iki madde var ve hangisinin kazanacağını isteğin ayrıntıları belirliyor; kural uzun bir bağlamın ortasına gömülmüş ve diğer içerikle yarışıyor; ya da güvenilmeyen bir blok aynı bağlama girip kuralı bastırıyor. Üçünün de çözümü metni uzatmak değil, yapıyı netleştirmek ve kritik kuralı koda taşımaktır.

Kaynaklar

  1. 01Model sağlayıcılarının kullanım politikası ve sistem istemi yazım kılavuzları — Model sağlayıcıları · Dokümantasyon
  2. 02OWASP Top 10 for Large Language Model Applications — OWASP · Teknik rapor
  3. 03Sinaptik Redaksiyon — sınır testi ve reddetme tasarımı notları — Sinaptik Lab · Teknik rapor

BUILD

Bu rehberi kurumunuzda uygulayalım mı?

Aynı mimariyi kendi verinizle kurmak için discovery oturumundan üretime kadar birlikte ilerliyoruz.