İnsan onayı ölçeklenmez: otomasyonun asıl sınırı budur

Tez#

Yapay zekâ otomasyonu tartışmalarında sınır hep model tarafında aranıyor: doğruluk yeterince yüksek olmadığı için tam otomasyona geçemiyoruz. Bu çerçeve, sorunun yarısını görüyor. Çünkü doğruluk yükseldiğinde de tam otomasyona geçilmiyor — geçilmemesi gerekiyor, zira hangi çıktının yanlış olduğunu bilmiyorsanız yüzde doksan dokuz doğruluk bile her çıktının kontrol edilmesini gerektirir.

Buradan şu çıkar: otomasyonun kazancı doğrulukla değil, sistemin hangi çıktısından emin olmadığını söyleyebilmesiyle belirlenir. Sistem "bundan eminim" diyebildiği ölçüde iş insandan alınır. Emin olmadığı çıktılar insana yönlendirilir ve tam burada ikinci sınır devreye girer: insan kapasitesi sabittir. Model daha çok iş üretebilir, insan daha çok onay veremez. Otomasyon ölçeklendikçe darboğaz kaçınılmaz olarak onay kuyruğuna kayar.

Bağlam: eşik hem kalite hem kapasite kararıdır#

Güven eşiği kararı teknik bir ayar gibi görünüyor ama iki ayrı bütçeyi birden harcıyor: hata bütçesi ve insan kapasitesi bütçesi. Aşağıdaki tablo bu ikisinin nasıl ters yönde hareket ettiğini gösteriyor.

Tablonun en yanıltıcı satırı üçüncüsü, çünkü kısa vadede en iyi görünen satır o. Düşük eşikte otomasyon oranı yüksek, onay kuyruğu kısa ve raporlar parlak. Kaçan hatalar ise gecikmeli ortaya çıkıyor: yanlış tutarla kaydedilmiş bir fatura, eksik alanla açılmış bir dosya, hatalı sınıflandırılmış bir talep. Bu hataların maliyeti otomasyon projesinin bütçesinde görünmez; operasyonun düzeltme yükünde görünür.

Kanıt: kapasite hesabı#

Onay kapasitesi bir soyutlama değil, çarpılabilir bir sayı. Hesap basit olduğu için çoğu zaman hiç yapılmıyor; yapıldığında ise eşik kararı tartışmadan çıkıp aritmetiğe dönüşüyor.

1. 1Günlük hacmi ölçün

   Sisteme günde kaç iş birimi giriyor? Bu sayı eşiğin uygulanacağı tabandır ve mevsimsel tepeleri de içermelidir.

2. 2Onay başına süreyi ölçün

   Bir insanın bir birimi gerçekten inceleyip karar vermesi kaç saniye sürüyor? Tahmin değil ölçüm; gözlemlenen süre genellikle tahminin katıdır.

3. 3Mevcut kapasiteyi çıkarın

   Kaç kişi, günde kaç saat onaya ayırabiliyor? Bu, tavanı belirleyen sabittir ve kolay büyütülemez.

4. 4Eşiği kapasiteye göre çözün

   Hacim × insana düşme oranı × onay süresi ≤ kapasite. Bu eşitsizlik eşiğin üst sınırını verir; kalite hedefi bu sınırın içinde seçilir.

5. 5Kuyruk bekleme süresini izleyin

   Kuyruk büyüyorsa eşik sürdürülemez. Bekleme süresi, eşiğin yanlış olduğunu gösteren en erken sinyaldir.

Dördüncü adım kararı tersine çeviriyor ve bu tersine çevirme analizin pratik özü. Alışılmış yol kalite hedefinden eşiğe gitmek: "yüzde doksan beş doğruluk istiyoruz, eşik bu olsun." Doğru yol kapasiteden eşiğe gitmek: "kapasitemiz bu, eşik en fazla bu olabilir; bu eşikte ulaşabileceğimiz kalite şu." İkinci yol daha az tatmin edici ama uygulanabilir olan tek yol.

Mekanizma: onay yorgunluğu#

Kapasite hesabının gizli bir varsayımı var: her onayın gerçekten bir inceleme olduğu. Yüksek hacimli akışlarda bu varsayım bozulur. Aynı türden yüzlerce kararı üst üste veren kişi, bir süre sonra kararı vermeyi bırakıp kalıbı onaylamaya başlar — özellikle çıktıların büyük bölümü doğruysa, "onayla" tuşu bilinçsiz bir refleks hâline gelir.

Bu, insan kusuru değil sistem tasarımı kusuru. Doğru çıktı oranı yükseldikçe insan denetiminin etkinliği düşer: yanlışı yakalamak için yüz doğru arasında bir yanlış aramak, on doğru arasında üç yanlış aramaktan zordur. Sonuç paradoksal ama tutarlı — sistem iyileştikçe insan denetimi zayıflar. Bu yüzden onay akışları, onaylayanın dikkatini koruyacak biçimde tasarlanmak zorundadır: yalnızca gerçekten belirsiz olanı göstermek, emin olunan çıktıyı hiç göstermemek ve onaylayana neden bu kaydın geldiğini söylemek.

Karşı görüş#

İki itiraz güçlü. Birincisi: onay her zaman tek tek yapılmak zorunda değil. Örneklemeli denetim — çıktıların yüzde beşini inceleyip hata oranını tahmin etmek — kalite güvencesinde onlarca yıldır kullanılıyor ve kapasite sınırını büyük ölçüde kaldırıyor. İkincisi: onaylanan şey çıktı yerine kural olabilir. Bir insan bir kez kural onaylar, sistem o kuralı binlerce kez uygular.

Tek tek onaylamayı bıraktık, örneklem denetimine geçtik. Hata oranı görünür hâle geldi ama bir sorun ortaya çıktı: kaçan hatayı artık kullanıcı buluyor, biz bulmuyoruz.

İki itiraz da geçerli ama uygulama alanları sınırlı. Örneklemeli denetim toplam hata oranını ölçer, tek tek hataları yakalamaz; geri alınabilir işlemlerde yeterlidir, geri alınamaz işlemlerde değildir. Bir ödeme talimatının yanlış olduğunu istatistiksel olarak bilmek, o ödemeyi durdurmaz. Kural onayı ise yalnızca kuralın kapsadığı durumlar için çalışır; istisnalar zaten insana düşer ve otomasyonun gerçek zorluğu istisnalarda. İki yaklaşım tezi çürütmüyor, uygulanabilir olduğu bölgeyi daraltıyor: geri alınabilir ve kuralla kapatılabilir işlerde kapasite sınırı aşılabilir; geri alınamaz ve istisna yoğun işlerde sınır yerinde duruyor.

Sınırlar ve belirsizlik#

Bu analizin en zayıf noktası onay yorgunluğu iddiasının nicel dayanağı. Mekanizma insan faktörleri literatüründe iyi bilinen uyarı yorgunluğuyla tutarlı ama yapay zekâ onay akışlarında özel olarak ölçülmüş bir eşik yok.

• Yorgunluk eşiği ölçülmemiş: günde kaç onaydan sonra dikkatin anlamlı biçimde düştüğüne dair yapay zekâ bağlamında yayımlanmış bir ölçüm bilmiyoruz.
• Onay süresi çok değişken: aynı iş türünde kişiler arasında kat kat fark olabiliyor; tek bir ortalama kapasite hesabını bozar.
• Kalibrasyon kalitesi belirleyici ama ölçülmesi zor: sistemin "eminim" dediği çıktıların gerçekten daha doğru olup olmadığı ayrıca doğrulanmalı.
• Alan farkı büyük: geri alınabilirlik profili farklı olan işlerde denklem tümüyle değişiyor; genel bir tavan verilemez.

Sonuç#

Otomasyon projelerinin başarısızlık nedeni genellikle modelin yetersiz kalması değil, insan kapasitesinin hesaba hiç katılmamış olması. Doğruluk hedefinden eşiğe giden akıl yürütme, kapasite sınırına çarptığında proje "model yeterince iyi değil" diye kapatılıyor — oysa model yeterince iyi, akış yanlış kurulmuş.

Doğru çerçeve şu: otomasyonun kazancı, sistemin emin olduğu çıktıların oranıyla doğru orantılıdır ve o oranı belirleyen şey doğruluk değil kalibrasyondur. Bir sistem yüzde yetmiş doğruysa ama hangi yüzde yetmişin doğru olduğunu güvenilir biçimde işaretleyebiliyorsa, o sistem yüzde doksan beş doğru ama hangisinden emin olduğunu söyleyemeyen bir sistemden daha çok iş alır. Otomasyon yatırımının doğru yönü budur: doğruluğu artırmak değil, belirsizliği işaretleyebilmek.

Ne yapmalı?#

1. 1Kapasite hesabını projeden önce yapın

   Hacim, onay süresi ve mevcut kapasiteyi çarpın. Eşik bu aritmetiğin içinde seçilsin, kalite temennisinden türetilmesin.

2. 2Eşiği iş türüne göre ayırın

   Fatura tutarı ile adres alanı aynı eşiği taşımaz. Tek bir eşik, en riskli alan için fazla gevşek, en masum alan için fazla sıkıdır.

3. 3Kalibrasyonu ayrı ölçün

   Sistemin "eminim" dediği çıktıların gerçekten daha doğru olduğunu doğrulayın. Kalibre olmayan güven skoru, eşiği anlamsız kılar.

4. 4Onaylayana gerekçe gösterin

   "Bu kayıt neden size geldi?" sorusunun cevabı ekranda olsun. Gerekçesiz onay akışı, yorgunluğu hızlandırır.

5. 5Kuyruk bekleme süresini gösterge panosuna koyun

   Kuyruk büyüyorsa eşik sürdürülemez. Bu, kalite göstergelerinden önce görülen sinyaldir.

6. 6Geri alınabilirliğe göre kademelendirin

   Geri alınabilir işlerde örneklemeli denetime geçin, geri alınamaz işlerde tek tek onayı koruyun. İkisini aynı politikayla yönetmeyin.