Üretime alma kapıları ve gözlemlenebilirlik
Bir ajanı gölge koşudan sınırlı özerkliğe taşıyan kapıları, her koşudan kaydedilmesi gereken izi ve insan onayı kuyruğunun tasarımını öğretir. Sürüm sabitleme ve geri alma da bu dersin kapsamında.
Önkoşul: Prompt Injection, Guardrails
BU DERSİN SONUNDA
- Özerklik seviyelerini tanımlayıp aralarındaki geçişi önceden yazılmış bir ölçüte bağlamak
- Bir şikâyetten ilgili koşunun izine kısa sürede ulaştıran kaydı tasarlamak
- İnsan onayı kuyruğunu karar verilebilir ve ölçülebilir biçimde kurmak
- Sürüm sabitleme ve geri alma yolunu üretime almadan önce denemek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Üretime alma tek bir açma kapama değil, özerklik seviyeleri arasındaki bir dizi kapıdır: gölge koşu, öneri, denetimli özerklik, sınırlı özerklik. Her kapının ölçütü kapıdan önce yazılır ve geri dönüş yolu hazırlanır. Bir ajanı kapılardan geçiren şey model kalitesi değil, ölçüm ve iz kaydıdır.
Teori: özerklik bir anahtar değil, merdiven#
Üretim dağılımı, ölçüm setinizden her zaman geniştir: gerçek kullanıcılar sizin yazmadığınız talepleri getirir. Kapıların işlevi bu farkı pahalı bir arıza yerine ucuz bir gözlemle keşfetmek. Gölge koşuda ajan çalışır, çıktısı uygulanmaz ve insanın verdiği kararla karşılaştırılır; gerçek dağılımı yan etki almadan ölçmenin en doğrudan yolu budur.
Her kapı iki şeyi birden gevşetir: eylemin geri alınabilirliği ve insanın devrede olma sıklığı. İkisini aynı anda gevşetmek, bir arıza çıktığında nedeni ayırmayı imkânsız kılar. Kural basit: bir seferde tek eksen değişir ve değişiklikten sonra en az bir ölçüm dönemi beklenir.
Uygulamada: seviyeler ve kapılar#
| Seviye | Ajan ne yapar | İnsan ne yapar | Geçiş için gereken kanıt |
|---|---|---|---|
| Gölge koşu | Çalışır, çıktısı uygulanmaz | Kendi kararını verir; iki karar vaka vaka karşılaştırılır | Gerçek trafikte uyuşma ve iz kaydının eksiksiz olması |
| Öneri | Taslak üretir, uygulamaz | Okur, düzeltir, uygular | Düzeltme oranının kabul edilebilir düzeye inmesi ve düzeltme desenlerinin ölçüm setine girmesi |
| Denetimli özerklik | Uygular; geri alınamaz eylemler onay bekler | Yalnızca onay kapısında karar verir | Hedef dışı yan etkinin görünmemesi ve onaylarda ret oranının düşmesi |
| Sınırlı özerklik | Tanımlı kapsamda uçtan uca uygular | Örneklem denetler, alarmlara bakar | Tekrarlı koşularda kararlılık, bütçe uyumu ve geri alma yolunun denenmiş olması |
Her koşudan ne kaydedilir#
- Sürüm parmak izi: istem sürümü, model kimliği, araç şeması sürümü, geri getirme dizini sürümü. Koşu hangi bileşimle çalıştı sorusunun cevabı burada.
- Karar noktaları: çağrılan araç, argümanlar, dönen sonucun özeti veya imzası, modelin sonraki kararı.
- Bütçe: adım sayısı, girdi ve çıktı tokeni, uçtan uca süre, bitiş durumu (tamam, bütçe doldu, hata, onay bekliyor).
- Yan etki defteri: hangi kayıt değişti, hangi mesaj gönderildi, hangi eylem onaya düştü, hangisi geri alındı.
- Bağlantı kimliği: kullanıcı talebi, koşu ve varsa insan onayı aynı kimlikle eşleşmeli. Şikâyetten ize giden yol buradan geçer.
- Örnekleme kararı: koşu insan denetimi için seçildi mi, seçildiyse sonucu ne oldu.
İnsan onayı kuyruğu#
Onay ekranı bir tasarım işidir. Denetçinin kısa sürede karar verebilmesi için dört şey görünmeli: eylemin etkisi düz cümleyle, hedefi, geri alınabilir olup olmadığı ve dayanağı (kaynak kayıt veya belge bağlantısı). Reddetmek tek tıkla mümkün olmalı ve ret bir neden etiketi istemeli; kuyruğu değerlendirme verisine çeviren şey o etikettir.
Kuyruk da ölçülür: bekleme süresi, ret oranı ve ret nedenlerinin dağılımı. Ret oranı düşmüyorsa özerkliği artırmak erkendir. Bekleme süresi uzuyorsa ajan hızlanmış olsa bile uçtan uca akış yavaşlamıştır; bu durumda iyileştirilecek yer model değil, onay tasarımı ve onaya düşen eylem kümesidir.
Karar: kapıdan geçmeye hazır mısınız#
- 1Kapı ölçütünü yaz
Geçişin hangi sayılara bağlı olduğunu kapıdan önce yazın: tamamlama, yan etki, bütçe uyumu, ret oranı. Sonradan yazılan ölçüt eldeki veriye uydurulur.
- 2Geri alma yolunu dene
Önceki sürüme dönmeyi gerçekten uygulayın. Sürüm sabitleme çalışıyor mu, yarı kalmış eylemler nasıl kapanıyor, kuyrukta bekleyen onaylar ne oluyor?
- 3Küçük dilimde aç
Tek takım, tek müşteri segmenti veya günün belirli bir diliminde açın. Alarm ve örneklem denetimi ilk olarak bu dilimde koşsun.
- 4Genişlet ya da geri dön
Dilimde ölçüt tutuyorsa kapsamı büyütün; tutmuyorsa bir seviye geri dönün ve nedeni ölçüm setine vaka olarak ekleyin.
Sık yapılan hata#
En pahalı hata sessiz sürüm değişikliğidir. İstem, araç şeması ve model kimliği yapılandırma olarak sürümlenmemişse davranış bir gecede değişir ve kimse neyin değiştiğini gösteremez. İkinci hata alarmı yalnızca hata oranına bağlamak: ajan arızaları çoğu zaman hata üretmez, sessizce daha çok adım atar, daha çok onay düşürür, daha kısa cevap verir. Alarm bu deseni izlemiyorsa arıza kullanıcı şikâyetiyle öğrenilir.
LAB · UYGULAMALI ALIŞTIRMA
Gölge koşu ve iz tamlığı denetimi
- 1Ajanı gölge modda koşturun: çıktı uygulanmaz, yalnızca kaydedilir. Canlı trafiğiniz yoksa elinizdeki gerçek talep kayıtlarını (destek kaydı, eski konuşma dökümü, kendi kullanım geçmişiniz) aynı biçimde yeniden koşturun.
- 2Aynı taleplerde insanın verdiği kararı da kaydedin, iki kararı vaka vaka karşılaştırın ve uyuşmazlıkları neden etiketleriyle ayırın.
- 3Rastgele beş koşu seçip şunu deneyin: yalnızca kayda bakarak koşunun hangi sürümle çalıştığını, hangi araçları çağırdığını ve neyi değiştirdiğini bulabiliyor musunuz? Bulamadığınız her alanı iz şemasına ekleyin.
- 4Bir kullanıcı şikâyeti senaryosu kurun ve şikâyetten ilgili koşunun izine kaç adımda ulaştığınızı ölçün; bağlantı kimliği eksikse ekleyip tekrar ölçün.
- 5Sonraki kapının ölçütünü yazın: hangi sayı hangi düzeye inince öneri moduna geçeceksiniz?
- 6Geri alma tatbikatı yapın: istem ve araç şeması sürümünü bir önceki sürüme sabitleyip akışın çalıştığını ve bekleyen onayların ne olduğunu doğrulayın.
Beklenen çıktı
Gölge koşunun insan kararıyla karşılaştırma tablosu, eksikleri kapatılmış iz şeması, yazılı kapı ölçütü ve denenmiş bir geri alma yolu.
Sık sorulan sorular
Gölge koşuya harcanan bütçe boşa gitmiş olmuyor mu?
Gölge koşu, ölçüm setinin göremediği gerçek dağılımı yan etki almadan ölçmenizi sağlar; kaydedilmiş geçmiş taleplerin yeniden koşulması da benzer bir bilgi verir ama güncel dağılımı yakalamaz. Karşılığında elde ettiğiniz uyuşmazlık vakaları doğrudan ölçüm setine girer. Alternatifi, aynı bilgiyi üretimde arıza çıktıktan sonra öğrenmek; bu çok daha pahalıdır.
Örneklem denetimi hangi koşuları seçmeli?
Rastgele örneklem tek başına yetmez: nadir ama pahalı hatalar rastgele seçime düşmez. Pratik yol, rastgele bir dilimi riskli desenli koşularla birleştirmek: bütçe sınırına çarpanlar, olağandan çok adım atanlar, yıkıcı araç çağıranlar ve onayda reddedilenler.
Sağlayıcı model sürümünü güncellerse ne yapmalı?
Sürümü yapılandırmada sabit tutun ve değişikliği bir sürüm kararı gibi ele alın: karar kümesini yeniden koşun, iz kaydındaki sürüm parmak izini güncelleyin ve kapıyı yeniden geçirin. Otomatik geçiş, ölçülmemiş bir davranış değişikliğini doğrudan üretime taşır.
LEARN
AI Agent Developer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.