Bildirim, insan gözetimi ve kanıt düzeni
Kullanıcıya bildirimi çıktının rolüne göre ölçeklemeyi, insan gözetimini yetki ve kapasiteyle tanımlamayı ve yanlış çıktı olaylarını denetimde sunulabilir bir kanıt dosyasına dönüştürmeyi öğretir.
Önkoşul: Large Language Model, Retrieval-Augmented Generation
BU DERSİN SONUNDA
- Bildirim metnini çıktının rolüne göre ölçeklendirmek
- İnsan gözetimini yetki, kapasite ve alternatifle birlikte tanımlamak
- Yanlış veya yanıltıcı çıktı olaylarını sınıflandırıp kök nedene bağlamak
- Gözden geçirme takvimini tetikleyicilere bağlayarak kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Şeffaflık, sayfanın altına bir cümle eklemek değildir: kullanıcının, kendisini etkileyen bir yapay zekâ çıktısıyla karşılaştığı yerde ne olduğunu ve ne yapabileceğini anlamasıdır. İnsan gözetimi de onay tuşu değildir: reddetme yetkisi, reddetmeye yetecek süre ve reddedildiğinde işleyen bir alternatif demektir. Kanıt düzeni bu ikisini ve önceki bölümlerin çıktılarını tek kayıt kimliği altında, tarihli ve sürümlü olarak toplar.
Teori: bildirimi ne anlamlı kılar?#
Bildirimin değeri yerinde ve zamanında olmasından gelir. Politika sayfasındaki bir paragraf yükümlülüğü kâğıt üstünde karşılar ama kullanıcının davranışını değiştirmez. Anlamlı bildirim üç şeyi söyler: çıktının makine tarafından üretildiği, neyi etkilediği (öneri mi, kararın kendisi mi) ve bir insana ulaşma yolu. Üçüncüsü olmadan ilk ikisi yalnızca bir bilgi notudur.
Üretken çıktının bilinen bir özelliği akıcı ama yanlış olabilmesidir. Bu özellik korkuluklarla ve geri getirmeyle azaltılır, sıfırlanmaz: doğru kaynak getirildiğinde yanlış cevap olasılığı düşer, yanlış parça getirildiğinde ise artar; çünkü model artık yanlış bir dayanağa güvenerek konuşur. Bu yüzden arayüz çıktıyı kaynağına bağlamalı ve "kontrol edin" demenin ötesinde kontrol etmeyi gerçekten mümkün kılmalıdır.
İnsan gözetimi üç koşul sağlanmadan gözetim değildir: yetki, kapasite ve alternatif. Reddetme kararı kişinin yetkisinde mi; kişi başına düşen inceleme sayısı gerçekten incelemeye yetiyor mu; reddedildiğinde süreç nasıl yürüyor? Buna bir de otomasyon yanlılığı eklenir: kendinden emin ve düzgün yazılmış bir çıktı onaylanmaya daha yatkındır. Bu yüzden onaylayanın önüne çıktıyla birlikte dayanağı ve belirsizlik işaretleri de konur.
Uygulamada: bildirim ve gözetim düzeyi#
| Çıktının rolü | Bildirim | Gözetim | Kayıt |
|---|---|---|---|
| İç kullanım taslağı | Araç içinde kısa not | Kullanan kişi sorumlu | Sürüm ve kullanım kaydı yeterli |
| Müşteriye giden metin | Etkileşim anında görünür bildirim | Gönderim öncesi insan onayı | Gönderilen metin ve onaylayan kişi |
| Sıralama veya öneri | Bildirim ve ölçüt açıklaması | Örnekleme denetimi ve ret oranı izleme | Örneklem kaydı ve dönemsel rapor |
| Kişiyi etkileyen karara girdi | Bildirim ve itiraz yolu | Yetkili kişi, eşik ve müdahale kaydı | Karar, gerekçe, müdahale ve itiraz sonucu |
| İnsan onayı olmayan karar | Karar anında bildirim ve insan incelemesi hakkı | Karar öncesi gözetim yok; itiraz üzerine insan incelemesi zorunlu | Tam iz: girdi, sürüm, çıktı, itiraz |
Olay kaydı: neyi olay sayarsınız?#
- Çıktı, doğru görünen ama gerçek olmayan bir bilgi içerdi ve kullanıcıya ulaştı.
- Çıktı, kullanıcının görme yetkisi olmayan bir kaynağa dayandı; yetki filtresi çalışmadı.
- Gözetimi yapan kişi çıktıyı reddetti ama süreç yine de ilerledi.
- Kullanıcı itiraz etti ve itiraz tanımlı süre içinde bir insana ulaşmadı.
- Sağlayıcı model sürümünü değiştirdi, davranış farkı bildirilmeden üretimde göründü.
- Aynı kök nedenle üçüncü kez tekrarlanan bir şikâyet geldi.
Kanıt dosyası#
- 1Kaydı toplayın
Envanter kaydını, kademe gerekçesini ve amaç belgesini tek bir kayıt kimliği altında birleştirin.
- 2Ölçümü ekleyin
Kullanıma özgü görev setinin sonucunu ve test tarihini ekleyin; dosyada skor kadar yöntem ve örneklem de dursun.
- 3Gözetimi yazın
Yetkili kişiyi, eşiği, müdahale kaydını ve kapasite varsayımını tek sayfaya indirin.
- 4Olayları bağlayın
Olay kayıtlarını kök neden ve alınan önlemle birlikte aynı kayda bağlayın; ayrı bir listede bırakmayın.
- 5Takvimi kurun
Gözden geçirme tarihini ve tetikleyicileri yazın: amaç değişikliği, sürüm değişikliği, yeni veri kaynağı, tekrarlayan olay.
Sık yapılan hata#
En yaygın hata, kanıtı ancak denetim istendiğinde toplamaya çalışmak. Geriye dönük toplanan kanıt tarih taşımadığı için zayıftır: hangi kararın hangi bilgiyle verildiği gösterilemez. Kanıt, karar verildiği anda üretilen bir yan ürün olmalı; tabloya sonradan eklenen bir sütun değil. Bu, ek iş gibi görünür ama asıl ek işi doğuran, sonradan yapılan arkeolojidir.
Rota burada kapanıyor ama dosya kapanmıyor. Envanter, kademe ataması, veri izi, tedarikçi kanıtı ve olay kaydı aynı kayıt kimliğinde birleştiğinde uyum bir proje olmaktan çıkıp işleyen bir düzene dönüşür. Bundan sonraki tek iş, gözden geçirme takvimini takvimde tutmaktır.
LAB · UYGULAMALI ALIŞTIRMA
Bir kullanım için kanıt dosyası kurun
- 1Envanterden kişiyi etkileyen tek bir kullanım seçin ve ona kalıcı bir kayıt kimliği verin.
- 2Kullanıcının çıktıyla karşılaştığı ekranı veya adımı bulun; mevcut bildirim metnini kopyalayıp üç ölçüte göre işaretleyin: makine üretimi olduğu söyleniyor mu, etkisi söyleniyor mu, insana ulaşma yolu var mı.
- 3Eksik ölçütler için yeni bildirim metnini bir paragrafta yazın ve tam olarak nereye konacağını belirtin.
- 4Gözetim tanımını tek sayfaya yazın: yetkili kişi, reddetme yetkisi, kişi başına günlük inceleme sayısı varsayımı ve reddedildiğinde işleyen alternatif.
- 5Son üç ayda bu kullanımla ilgili gelen şikâyet, düzeltme veya yeniden yazım örneklerinden bir olay listesi çıkarın ve her birini altı olay türünden birine yerleştirin.
- 6Kayıt kimliği altında dosyayı kurun: envanter kaydı, kademe gerekçesi, gözetim sayfası, olay listesi, gözden geçirme tarihi ve tetikleyici listesi.
Beklenen çıktı
Tek bir kullanım için bildirim değerlendirmesi, yazılı gözetim tanımı, sınıflandırılmış olay listesi ve tetikleyicili gözden geçirme takvimi içeren kanıt dosyası.
Sık sorulan sorular
Her yapay zekâ çıktısına bildirim koymak gerekir mi?
Bildirim ihtiyacı çıktının rolüne göre ölçeklenir. İç kullanımda taslak üreten bir araç için araç içindeki kısa bir not yeterli olabilirken, kişiyi etkileyen bir karara girdi olan çıktıda bildirim ve itiraz yolu birlikte gerekir. Her yere aynı uzun metni koymak bildirimi görünmez kılar; kullanıcı okumayı bırakır.
Gözetimi yapan kişi çıktıların neredeyse tamamını onaylıyorsa bu iyi bir işaret mi?
Kendi başına bir işaret değil, incelenmesi gereken bir bulgudur. Yüksek onay oranı çıktının gerçekten iyi olmasından da doğabilir, inceleyenin süresinin veya yetkisinin yetmemesinden de. İkisini ayırmanın yolu bir örneklem alıp onaylanmış çıktıları bağımsız bir kişiye yeniden okutmaktır.
Olay kaydını kim tutar?
Kayıt açma hakkı geniş, kapatma yetkisi dar olmalıdır: çıktıyla temas eden herkes olay açabilmeli, kapatma ise kök neden ve önlem yazıldıktan sonra tek bir sorumluda olmalıdır. Kaydı yalnızca uyum biriminin tutması, olayların uyuma hiç ulaşmaması sonucunu verir.
LEARN
AI Uyum Sorumlusu rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.