Model belgelerini kanıt tablosuna bağlamak
Sağlayıcıdan gelen model belgelerini ve beyanları okunur bir kanıt tablosuna bağlamayı öğretir. Hangi bilginin sözleşmede, hangisinin teknik dokümanda aranacağını ayırır ve eksiği takip edilebilir bir talebe çevirir.
Önkoşul: Generative AI, Responsible AI
BU DERSİN SONUNDA
- Sözleşmede ve teknik dokümanda aranacak bilgileri birbirinden ayırmak
- Beyanı kanıttan ayırt edip her satıra kabul edilebilir kanıt türünü yazmak
- İnce ayar ve veri kullanımı koşullarının uyum sonucunu değerlendirmek
- Eksik kanıtı sorumlusu, tarihi ve sonucu olan bir açık maddeye dönüştürmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Tedarikçi incelemesinde iki ayrı belge okunur ve biri diğerinin yerine geçmez. Sözleşme kimin neyi taahhüt ettiğini, verinin nerede işlendiğini, değişikliğin nasıl bildirileceğini ve çıkışta ne olacağını söyler. Teknik doküman ise sistemin amaçlanan kullanımını, bilinen sınırlarını, değerlendirme yöntemini ve güncelleme ritmini söyler. İncelemenin çıktısı bir puan değil, kanıtı olmayan maddelerin sorumlusu ve sonucuyla birlikte listelenmiş hâlidir.
Teori: beyan ile kanıt arasındaki fark#
Beyan bir cümledir; kanıt doğrulanabilir bir referanstır: sözleşme maddesi, sürüm etiketi taşıyan teknik doküman bölümü, bağımsız bir denetim raporu veya kurumun kendi ölçümü. İncelemede her satırın yanında kanıt türü yazılır. "Sağlayıcı görüşmede teyit etti" de bir kanıt türüdür ama en zayıfıdır ve muhatap değiştiğinde değeri kalmaz; bu yüzden yanına tarih ve kişi yazılmadan kullanılmaz.
Eğitim verisi beyanları neredeyse hiçbir zaman tam liste değildir; sağlayıcı kategori düzeyinde konuşur. Bu durumda doğrulanabilir soru "hangi belgelerle eğitildi" değil şunlardır: veri hangi kaynak kategorilerinden geliyor, telif ve lisans için hangi taahhüt veriliyor, müşteri verisi eğitimde kullanılıyor mu, kullanılmama seçeneği nerede işaretleniyor ve bu ayar hesap düzeyinde mi yoksa tek tek kullanıcı düzeyinde mi geçerli.
İnce ayar maddesi sık yanlış okunur. İnce ayar modele yeni bilgi eklemenin yolu değildir; davranış, biçim ve ton öğretir. Kuruma özgü ve güncellenen bilgiyi cevaba taşımanın yolu geri getirmedir. Bu ayrım sözleşme tarafında da işe yarar: "sizin için ince ayar yaparız" taahhüdü bir bilgi tazeliği taahhüdü değildir. Üstelik ince ayar için verilen veri eğitime girmiş olur; silme sorusu tam da bu maddede doğar.
Uygulamada: hangi bilgi hangi belgede#
| Aranan bilgi | Sözleşme | Teknik doküman | Kabul edilebilir kanıt |
|---|---|---|---|
| Verinin işlendiği bölge | Evet | Kısmen | Bölge taahhüdü içeren madde ve ayarın kaydı |
| Müşteri verisinin eğitimde kullanımı | Evet | Kısmen | Açık madde ve ayarın hesap düzeyindeki adı |
| Günlük saklama süresi ve erişim | Evet | Kısmen | Süre ve erişim yazan madde veya sürümlü bölüm |
| Alt yükleniciler | Evet | Hayır | Güncel liste ve değişiklik bildirim taahhüdü |
| Amaçlanan kullanım ve sınırlar | Hayır | Evet | Sürüm etiketi taşıyan doküman bölümü |
| Bilinen hata kipleri | Hayır | Evet | Doküman bölümü veya sağlayıcının test özeti |
| Değerlendirme yöntemi | Hayır | Evet | Yöntem tarifi; skor değil, neyin nasıl ölçüldüğü |
| Model güncelleme bildirimi | Evet | Kısmen | Bildirim süresi ve önceki sürümü kullanma hakkı |
| Çıkışta veri iadesi ve silme | Evet | Hayır | Süre ve biçim yazan madde |
Karar: eksiği talebe çevirmek#
- 1Soruyu daraltın
Eksik bilgiyi tek cümlelik somut soruya çevirin: "güvenlik hakkında bilgi" değil, "istem günlükleri kaç gün tutuluyor ve kimler erişiyor".
- 2Kanıt türünü söyleyin
Hangi biçimde cevap kabul edeceğinizi baştan yazın: sözleşme maddesi, sürümlü doküman bölümü veya tarihli yazılı teyit.
- 3Sonucu yazın
Cevap gelmezse hangi kullanımın kısıtlanacağını belirtin; sonucu olmayan talep kapanmaz, yalnızca listede bekler.
- 4Sorumlu ve tarih atayın
Her talebin sorumlusu kurum içinden biri olur; tedarikçi muhatap olabilir ama takip sorumlusu olamaz.
- 5Kaydı bağlayın
Gelen cevabı envanter kaydına ve yükümlülük tablosunun ilgili satırına ek olarak bağlayın, ayrı bir klasörde bırakmayın.
Sık yapılan hata#
İnceleme çoğu zaman uzun bir soru listesinin gönderilmesine ve gelen cevapların dosyalanmasına dönüşür. Bu, kanıt değil hacim üretir. Kullanılabilir bir inceleme az sayıda karar verici soru sorar, her sorunun cevabını bir yükümlülük satırına bağlar ve cevabın hangi tarihte, hangi belge sürümüne ait olduğunu yazar. Cevap sayısı değil, kapanan yükümlülük satırı sayısı ilerlemeyi gösterir.
Açık madde listesi kapanmadan kullanımın tamamen durdurulması zorunlu değildir. Kısıtlı kullanım ara bir karardır: veri türünü sınırlamak, kullanıcı grubunu daraltmak veya çıktının karara girmesini engellemek. Yazıya geçtiği anda bu karar da denetlenebilir hâle gelir.
LAB · UYGULAMALI ALIŞTIRMA
Bir tedarikçi için kanıt tablosu doldurun
- 1Envanterinizden yapay zekâ özelliği olan bir tedarikçi seçin ve elinizdeki iki kaynağı ayırın: sözleşme veya eki ile genel erişimli teknik doküman.
- 2Dokuz satırlık kanıt tablosunu kurun ve her satır için bilginin hangi belgede, hangi bölümde bulunduğunu yazın.
- 3Bulduğunuz her madde için kendi tek cümlelik özetinizi ve belge içi konumunu (bölüm adı veya madde numarası) kaydedin.
- 4Boş kalan satırları soru biçimine çevirin ve her sorunun yanına kabul edeceğiniz kanıt türünü yazın.
- 5Her soruya kurum içi sorumlu, hedef tarih ve cevap gelmezse uygulanacak kısıtı ekleyin.
- 6Tabloyu inceleme tarihi ve okuduğunuz belge sürümüyle kaydedip ilgili envanter kaydına bağlayın.
Beklenen çıktı
Tek bir tedarikçi için kanıt konumları işaretlenmiş inceleme tablosu ve her maddesinde sonucu tanımlı bir açık madde listesi.
Sık sorulan sorular
Sağlayıcı teknik doküman yayımlamıyorsa ne yaparım?
Boşluğu kendi ölçümünüzle kapatmak zorundasınız: amaçlanan kullanımı ve sınırları kendi görev setinizle deneyip sonucu kurum içi bir belge olarak yazın. Bu belge sağlayıcı belgesinin yerini almaz, ama kaydı kanıtsız bırakmaz ve talebinizin gerekçesini de somutlaştırır.
Sağlayıcının paylaştığı başarı skorlarını kanıt sayabilir miyim?
Hayır. Başka bir veri kümesinde, başka bir görev tanımıyla alınmış bir skor sizin kullanımınız hakkında doğrulanabilir bir şey söylemez. Skor yerine yöntemi isteyin: neyi, hangi veriyle, hangi ölçütle ölçtüklerini. Kendi kararınızı kendi görev setinizin sonucuna dayandırın.
Küçük bir tedarikçi bu maddeleri kabul etmiyorsa ne yapılır?
Karar uyumun değil iş sahibinindir; uyumun işi seçenekleri yazılı hâle getirmektir. Seçenekler genellikle şunlardır: kullanımın kapsamını daraltmak, verilecek veri türünü sınırlamak, çıktının karara girmesini engellemek veya kullanımı reddetmek. Her seçeneğin yanına kalan risk tek cümleyle yazılır ve kararı veren kişi kayda geçer.
LEARN
AI Uyum Sorumlusu rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.