Yapay zekâ yatırımının getirisi zaman tasarrufunda değil, denetim yükünde ölçülür

Tez#

Yapay zekâ yatırımlarının getirisi çoğunlukla bir hız ölçümüyle sunuluyor: eskiden bu iş şu kadar sürüyordu, şimdi bu kadar sürüyor, fark kazanç. Ölçüm basit, sunumu ikna edici ve bir bölümü gerçek.

Eksik olan şey, işin tamamlanmasının üretimle bitmediği. Bir çıktının kullanılabilir hâle gelmesi için doğrulanması gerekiyor ve doğrulama süresi, üretim süresiyle birlikte kısalmıyor — bazı durumlarda uzuyor. Nedeni şu: insan kendi yazdığı bir metni yazarken doğruluyor, dışarıdan gelen bir metni ise ayrıca okuyup denetlemek zorunda kalıyor. Yani üretim ile doğrulama, insan çalışırken iç içe geçmiş iki iş; model çalıştığında ayrışıyor ve ikincisi tümüyle görünür bir maliyete dönüşüyor. Getiri hesabı bu maliyeti saymadığında, gerçekleşmeyen bir kazancı raporluyor.

Bağlam: doğrulama yükü nereye bağlı#

Doğrulama yükü sabit değil; hatanın maliyetine ve çıktının doğrulanabilirliğine bağlı. Tablo bu iki boyuta göre dört durumu ayırıyor.

Dördüncü satır en yaygın kullanım ve en az sorgulanan. Bir toplantı özetini doğrulamak için kaydı dinlemek gerekiyorsa, özetin kazancı büyük ölçüde ortadan kalkıyor. Buna karşılık özet yalnızca hatırlatma amacıyla kullanılıyorsa — yani hatanın maliyeti düşükse — doğrulama gerekmiyor ve kazanç gerçek. Yani aynı teknik çıktı, kullanım amacına göre yüksek veya sıfır getiri üretiyor ve fark hesapta görünmüyor.

Kanıt: doğru getiri hesabının bileşenleri#

Getiri hesabı üretim süresinden fazlasını içermek zorunda. Aşağıdaki kalemler, hesabın gerçekle ilişkisini kuran asgari kümeyi veriyor.

• Üretim süresi: klasik olarak ölçülen kalem. Tek başına bir kazanç göstergesi değil.
• Doğrulama süresi: çıktının kullanılabilir hâle gelmesi için harcanan süre. Ölçülmediğinde hesap anlamsız.
• Düzeltme oranı: çıktıların ne kadarı değiştirilmeden kullanılıyor? Bu oran, doğrulama süresinin en iyi göstergesi.
• Kaçan hata maliyeti: doğrulamadan geçen ama yanlış olan çıktıların sonucu. Nadir ama pahalı.
• Öğrenme süresi: ekibin aracı verimli kullanmayı öğrenmesi için harcanan süre; ilk aylarda baskın kalem.
• Bakım yükü: istem bakımı, değerlendirme seti bakımı, sürüm takibi. Süreklilik taşıyan gizli maliyet.
• Devredilemeyen iş: ölçüm yapılan işin ne kadarı gerçekten devredildi? Kısmi devir, kazancı da kısmi kılıyor.

Üçüncü madde tek bir ölçüyle en çok bilgi veren kalem. Düzeltme oranı hem kalite hem doğrulama yükü hakkında bilgi taşıyor ve ölçülmesi kolay: çıktının değiştirilmeden kullanılıp kullanılmadığı kaydedilebiliyor. Oran yüksekse — çıktılar büyük ölçüde olduğu gibi kullanılıyorsa — doğrulama yükü düşüyor ve kazanç gerçek. Oran düşükse, üretim hızı kazancı düzeltme süresine gidiyor.

Mekanizma: doğrulamanın asimetrisi#

Doğrulama yükünün neden bu kadar ağır olabildiğini anlamak için bir asimetriye bakmak gerekiyor: bir çıktının doğru olduğunu göstermek, yanlış olduğunu göstermekten pahalı.

Bir hatayı bulmak için tek bir yanlış nokta yeterli; doğruluğu onaylamak için tüm noktaların kontrol edilmesi gerekiyor. Bu, doğrulama süresinin çıktı uzunluğuyla ve iddia sayısıyla birlikte artması demek. İkinci etken güven kalibrasyonu: model akıcı ve kendinden emin bir metin ürettiğinde, denetleyen kişi daha az dikkatli okuyor. Yani doğrulama süresi kısalıyor ama kaçan hata oranı artıyor — ve bu takas genellikle ölçülmüyor. Üçüncü etken şu: doğrulama yükü bir kişiden başka kişiye devredilebiliyor ve o kişi genellikle daha kıdemli. Bir ekip "iş hızlandı" derken, işin denetim bölümünü kıdemli bir kişiye taşımış olabiliyor; toplam süre azalırken en pahalı kişinin zamanı artıyor ve hesap yine tutmuyor.

Karşı görüş#

Üç itiraz var. Birincisi: doğrulama yükü zaten insan çalışırken de vardı; ayrıca saymak çift saymak. İkincisi: doğrulama süresi zamanla düşüyor — ekip güvendikçe daha az denetliyor. Üçüncüsü: getiri yalnızca süreyle ölçülmüyor; kapsam genişlemesi de bir kazanç.

Üretim süresinde yüzde altmış kazanç raporladık. Sonra denetim süresini ölçtük: net kazanç yüzde on yediydi. Yine de değerliydi ama beklentiyi yanlış kurmuşuz.

Birinci itiraz kısmen doğru ama bir ayrımı atlıyor: insan kendi yazdığını yazarken doğruluyor, dışarıdan geleni ayrıca denetliyor. İki iş iç içeyken tek bir süre ölçülüyordu; ayrıştığında ikinci süre görünür hâle geliyor ve bu çift sayma değil, daha önce görünmeyen bir kalemin ortaya çıkması. İkinci itiraz gözlemsel olarak doğru ama tehlikeli: doğrulama süresi düşerken kaçan hata oranı artıyor ve bu takas ölçülmüyorsa kazanç, riske devredilmiş oluyor. Üçüncü itiraz en güçlüsü ve tez ona karşı değil: kapsam genişlemesi — daha önce hiç yapılmayan bir işin yapılabilir hâle gelmesi — gerçek bir kazanç ve süre hesabına girmiyor. Ama o kazanç da doğrulama yükü hesaba katılarak ölçülmeli.

Sınırlar ve belirsizlik#

Bu analiz bir oran vermiyor; hesabın hangi kalemleri içermesi gerektiğini söylüyor.

• Oranlar örnek: alıntıdaki sayılar tek bir ekibin ölçümü, genellenebilir değil.
• Kaçan hata maliyeti ölçülmesi en zor kalem: nadir olduğu için örneklemle yakalanması güç.
• Kapsam genişlemesinin değeri öznel: daha önce yapılmayan bir işin değeri bir süreyle ifade edilemiyor.
• Doğrulama süresi kişiye bağlı: aynı çıktıyı kıdemli ve yeni bir çalışan farklı sürede denetliyor.

Sonuç#

Üretim hızı ölçülebilir ve dramatik biçimde iyileşiyor; getiri hesapları bu yüzden cazip görünüyor. Ama işin tamamlanması üretimle bitmiyor ve doğrulama süresi üretim süresiyle birlikte kısalmıyor. Bazı kullanımlarda — veri çıkarma, karar önerisi, doğrulanması metni okumayı gerektiren özetleme — doğrulama, işi baştan yapmaya yaklaşıyor.

Getiri hesabını gerçekle ilişkilendiren tek ölçü düzeltme oranı: çıktıların ne kadarı değiştirilmeden kullanılıyor? Bu oran hem kaliteyi hem doğrulama yükünü taşıyor ve ölçülmesi kolay. Buna kaçan hata maliyeti, öğrenme süresi ve bakım yükü eklendiğinde hesap savunulabilir hâle geliyor — ve genellikle hâlâ olumlu çıkıyor, ama beklenenden küçük bir oranla.

Ne yapmalı?#

1. 1Doğrulama süresini ayrı ölçün

   Üretim süresi tek başına kazanç göstergesi değil. İkinci süre ölçülmeden hesap anlamsız.

2. 2Düzeltme oranını izleyin

   Çıktıların ne kadarı değiştirilmeden kullanılıyor? Tek ölçüyle en çok bilgi veren kalem.

3. 3Kullanım amacını hesaba katın

   Aynı çıktı, hatanın maliyeti düşükse yüksek, yüksekse sıfır getiri üretebiliyor.

4. 4Denetim yükünün kime geçtiğine bakın

   Toplam süre azalırken en pahalı kişinin zamanı artmış olabilir.

5. 5Kaçan hata maliyetini tahmin edin

   Doğrulama süresi düşerken kaçan hata oranı artıyor; bu takas ölçülmeli.

6. 6Bakım yükünü sürekli kalem sayın

   İstem bakımı, değerlendirme seti bakımı ve sürüm takibi bir kerelik değil süreklilik taşıyan maliyet.