KURUMSAL HİZMET
Yapay Zekâ Etki Değerlendirmesi
Bir sistemin kimi, nasıl etkilediğini yayına almadan önce yazılı olarak inceleme.
Problem
Sistem teknik olarak çalışıyor ama kimi etkilediği hiç yazılmadı. İşe alım ön elemesinde, kredi başvurusunda veya bir hizmete erişimde otomatik karar üretildiğinde etkilenen kişinin itiraz yolu, hatanın kime pahalıya geleceği ve azınlık gruplarda isabetin düşüp düşmediği belgesiz kalıyor.
Çözüm
Yayın öncesi yapılandırılmış bir değerlendirme yürütüyoruz: etkilenen gruplar, karar türü, hata maliyetinin dağılımı, alt gruplarda performans farkı, insan gözetiminin fiilen nasıl işlediği ve itiraz yolu. Değerlendirme bir onay formu değil; bulgusu sistem tasarımını değiştirebilen ve kararı kayda geçen bir inceleme olarak kurulur.
Kullanım alanları
- Otomatik karar üreten sistemlerin yayın öncesi incelenmesi
- Alt grup performans farkı ölçümü ve vekil değişken analizi
- İnsan gözetiminin fiilen uygulanabilir olduğunun sınanması
- İtiraz ve düzeltme yolunun tasarlanması
- KVKK açısından veri koruma etki değerlendirmesiyle birlikte yürütülmesi
- Yüksek riskli sınıfa girebilecek sistemlerde temel hak etkisinin belgelenmesi
Referans mimari
Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.
- Kapsam: sistemin kararı, etkilenen gruplar, karar sıklığı
- Hata maliyeti analizi: yanlış pozitif ve yanlış negatifin kime, ne kadar pahalı olduğu
- Alt grup ölçümü: performansın gruplar arasında karşılaştırılması
- Vekil değişken taraması: korunan özelliği dolaylı taşıyan alanların tespiti
- İnsan gözetimi sınaması: gözetimin gerçekte müdahale edebildiğinin gösterilmesi
- Karar kaydı: bulgular, alınan önlemler, kalan risk ve onay veren
Güvenlik ve uyum
Alt grup ölçümü için gereken hassas verinin ayrı, erişim denetimli ve süreli tutulması
Değerlendirme kayıtlarının sistem yaşam döngüsü boyunca saklanması
Kabul edilen kalan riskin kim tarafından ve hangi gerekçeyle onaylandığının yazılması
Yaklaşımımız
- 01
Discovery
Senaryo, veri ve kısıtların çıkarılması.
- 02
Assessment
Olgunluk ve uygulanabilirlik değerlendirmesi.
- 03
Prototype
En kısa yoldan çalışan ilk sürüm.
- 04
PoC
Tanımlı başarı ölçütüyle kanıt çalışması.
- 05
Production
Güvenlik, ölçek ve operasyon devri.
- 06
Monitoring
Kalite, maliyet ve kayma izleme.
Sık sorulan sorular
Bu bir uyum formu mu?
Form haline gelirse değersizleşir. Ayırt edici ölçüt şudur: değerlendirme sonucunda sistemin tasarımı hiç değişmiyorsa, o değerlendirme yürütülmemiş sayılır. Bu yüzden bulgular yayın kapısına bağlanır ve reddetme yetkisi olan bir sahibi olur.
Alt grup performansını ölçmek için hassas veri toplamak çelişki değil mi?
Gerçek bir gerilim. Çözüm, veriyi kalıcı üretim alanına değil, ayrı ve süreli bir değerlendirme ortamına almak; ölçüm bitince veriyi silmek ve yalnızca toplu sonucu saklamaktır. Hiç ölçmemek, farkın olmadığını göstermez; yalnızca görünmemesini sağlar.
İnsan gözetimi nasıl "sınanır"?
Gözetimin yazılı olması yetmez; gözetleyen kişinin karara gerçekten karşı çıkabildiği ölçülür. Onaylanacak kayıt sayısı kişinin inceleyebileceğinden fazlaysa, arayüz gerekçeyi göstermiyorsa veya reddetmenin süreçte bir maliyeti varsa gözetim kâğıt üstünde kalır. Sınama bu üç noktaya bakar.
İLETİŞİM
Yapay Zekâ Etki Değerlendirmesi için değerlendirme oturumu
İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.