TEMSİLÎ VAKA · FİNANS
Çağrı merkezinde sesli ajan ve devir eşiği
Çağrıların önemli bir bölümü bakiye sorma, son işlemleri dinleme, kart kısıtlama ve ekstre talebi gibi kısa işlemlerden oluşuyordu ama sesli yanıt ağacı derinleştikçe müşteriler ilk fırsatta operatöre geçiyordu. Hangi çağrı tipinin ağaçta kaybolduğu ölçülmüyor, menü değişiklikleri kuyruk uzunluğuna bakılarak yapılıyordu. Operatöre düşen çağrılarda müşteri anlatısını baştan tekrarlıyor, ağaçta denediği adımlar operatör ekranına hiç taşınmıyordu.
Beklenen etki
- Kapsam
- Sorgu ve bilgilendirme işlemleri ajanda; para hareketi ve talimat niteliğindeki işlemler insan kanalında kaldı
- Ölçüm
- Konuşma tanıma hatası ortalama yerine gürültü, cihaz ve söyleyiş dilimlerinde ayrı izleniyor
- Devir
- Devir nedenleri tetikleyici kırılımında raporlanıyor; açık operatör talebi başarısızlık sayılmıyor
- Veri sınırı
- Sesle kimlik doğrulama kapsam dışında; kimlik doğrulama mevcut yöntemlerde bırakıldı
Temsilî senaryo: buradaki satırlar ölçüm sonucu değil, bu kurulumda hangi büyüklüğün izlenmesi gerektiğini gösterir.
Bu kayıt gerçek bir müşteri işi değildir. Sinaptik Lab'in bu problemde izlediği yaklaşımı, mimari kararları ve ölçüm düzenini göstermek için yazılmış temsilî bir senaryodur: kurum adı taşımaz, içindeki hiçbir değer gerçek ölçüm değildir ve referans olarak gösterilemez. Gerçek projelerden vakalar müşteri onayı alındıkça bu kütüphaneye eklenir.
Problem
Çağrıların önemli bir bölümü bakiye sorma, son işlemleri dinleme, kart kısıtlama ve ekstre talebi gibi kısa işlemlerden oluşuyordu ama sesli yanıt ağacı derinleştikçe müşteriler ilk fırsatta operatöre geçiyordu. Hangi çağrı tipinin ağaçta kaybolduğu ölçülmüyor, menü değişiklikleri kuyruk uzunluğuna bakılarak yapılıyordu. Operatöre düşen çağrılarda müşteri anlatısını baştan tekrarlıyor, ağaçta denediği adımlar operatör ekranına hiç taşınmıyordu.
Yaklaşım
Sesli ajan kapalı bir işlem kümesiyle sınırlandı ve niyet tanıma serbest yönlendirme yerine kapsam dışı sınıfı olan kapalı kümeli sınıflandırma olarak kuruldu; yanlış işlem başlatmanın geri alınamadığı bir kanalda belirsizlik doğrudan devir sebebi sayıldı. Konuşma tanıma alan sözlüğüyle uyarlandı, çünkü ürün ve kampanya adları genel modelde tutarsız çıkıyor ve bir ürün adının yanlış anlaşılması yanlış niyete dönüşüyor. Devir eşiği tek bir güven skoruna bağlanmadı: düşük güven, aynı bilginin yeniden sorulması, konuşmada gerginlik belirtisi ve açık operatör talebi ayrı tetikleyiciler olarak tanımlandı ve açık talep her zaman anında devrediliyor. Devirde konuşma özeti ve denenen adımlar operatör ekranına taşınıyor, para hareketi başlatma ise kapsamın dışında bırakıldı.
Kullanılan teknolojiler
- Alan sözlüğüyle uyarlanmış konuşma tanıma
- Kapsam dışı sınıfı olan kapalı kümeli niyet tanıma
- Çok tetikleyicili devir eşiği
- Bağlam aktarımlı devir
- Gerçek zamanlı hassas alan maskeleme
- Gecikme bütçesi ayrıştırması
Bağlam, kurulum ve ölçüm
Problem ve yaklaşım özetin üstünde; burada kararların gerekçesi ve mimarinin ayrıntısı var.
Bağlam ve kısıtlar#
Telefon kanalının iki özelliği tasarımı baştan belirledi. Birincisi geri alınamazlık: bir kart kısıtlama talimatı sesli kanalda yanlış anlaşıldığında sonucu müşteri anında yaşıyor ve düzeltme yeni bir çağrı demek. İkincisi zaman: konuşma sırası içinde kalmayan bir cevap, doğru olsa da müşterinin araya girmesine ve akışın bozulmasına yol açıyor. Bu iki kısıt birlikte, kapsamı olabildiğince küçük tutup devir yolunu olabildiğince geniş bırakmayı gerektirdi.
Veri ve erişim#
Ses kaydı ve deşifre metni kişisel veri; üstelik deşifre metni serbest konuşma olduğu için içine kart numarası, doğum tarihi ve adres gibi veriler girebiliyor. Bu yüzden maskeleme kayıt sonrası bir temizlik işi olarak değil akışın içinde, metin depoya yazılmadan önce yapılan bir adım olarak kuruldu. Model geliştirme tarafında kullanılan kayıtlar ayrı bir rıza ve amaç tanımına bağlandı.
- Gerçek zamanlı deşifre: hassas alanlar depoya yazılmadan önce maskeleniyor
- Alan sözlüğü: ürün, kampanya ve kanal adları ile bunların yaygın yanlış duyulmuş biçimleri
- Niyet kümesi: kapalı liste ve açık bir kapsam dışı sınıfı
- Oturum bağlamı: kimlik doğrulama durumu, denenen adımlar, tekrar sayısı
- Değerlendirme örneklemi: rızası alınmış kayıtlardan gürültü, cihaz ve söyleyiş dilimlerine göre dengelenmiş küme
- Ses biyometrisi: kapsam dışı, doğrulama amacıyla toplanmıyor ve saklanmıyor
Mimari kararlar#
Kararların ortak mantığı şuydu: ajanın yapabildiği şeyi daraltmak, yapamadığı yerde hızlı ve bağlamı taşıyan bir çıkış bırakmak. Esneklik hedefi bilinçli olarak feda edildi, çünkü bu kanalda yanlış işlem başlatmanın maliyeti bir devrin maliyetiyle kıyaslanamayacak kadar yüksek.
| Karar | Seçilen yol | Neden |
|---|---|---|
| İşlem kapsamı | Sorgu ve bilgilendirme; para hareketi yok | Talimat niteliğindeki işlem kimlik tespiti ve kayıt yükümlülüğü taşıyor, yanlış işlem geri alınamıyor |
| Niyet katmanı | Kapalı küme ve açık kapsam dışı sınıfı | Serbest yönlendirme esnek ama yanlış eşleşmeyi sessizce üretiyor; belirsizlik görünür olmalı |
| Konuşma tanıma | Alan sözlüğüyle uyarlama | Ürün ve kampanya adları genel modelde tutarsız çıkıyor; yanlış duyulan ürün adı yanlış niyete dönüşüyor |
| Araya girme | Açık, ilk heceyi koruyacak tampon ile | Müşteri beklemeden konuşuyor; kapalı araya girme ile ilk hece kaybı niyet hatası üretiyor |
| Devir eşiği | Birden çok tetikleyici, açık talep koşulsuz | Tek güven skoru, tekrar sorma ve gerginlik gibi farklı sorunları aynı sayıya sıkıştırıyor |
| Devir biçimi | Konuşma özeti ve denenen adımlar ekranda | Bağlam taşınmazsa devir müşteri için baştan başlamak demek ve otomasyonun kazancı orada kayboluyor |
| Gecikme | Parçalara bölünmüş bütçe | Toplam hedef, hangi bileşenin taştığını göstermiyor; arka uç sorgusu ile seslendirme farklı sebeplerle yavaşlıyor |
Güvenlik ve yetki#
Ajan, arka uç servislerine operatörden daha geniş bir yetkiyle bağlanmıyor; aynı servisler, aynı yetki sınırları ve aynı iz kaydı geçerli. Kimlik doğrulama durumu oturum bağlamında açıkça taşınıyor ve doğrulanmamış oturumda hesap bilgisi döndüren hiçbir niyet çalışmıyor. Maskelenmiş deşifre metni ile ham ses kaydının erişim sınırları ayrı; model geliştirme yalnız maskelenmiş metin ve ayrıca rıza kapsamına alınmış ses örneklemiyle yürüyor.
Ölçüm düzeni#
Ölçüm düzeni iki soruyu ayrı tutacak şekilde kuruldu: ajan işi tamamlayabiliyor mu ve tamamlayamadığında doğru yerde mi bırakıyor. Bu ikisi tek bir otomasyon oranında birleştirildiğinde, devri geciktiren bir ajan panelde iyi görünmeye başlıyor. Devir bu yüzden tek başına olumsuz bir sonuç sayılmıyor; olumsuz sayılan şey geç devir ve yanlış işlem başlatma.
- Konuşma tanıma hatası dilim bazında: hoparlör, araç içi, sabit hat, bölgesel söyleyiş ve yaş grubu ayrı raporlanıyor
- Niyet başına tamamlama ve niyet karışıklık matrisi; hangi niyetin hangisiyle karıştığı ayrı izleniyor
- Devir nedenleri tetikleyici kırılımında: düşük güven, tekrar sorma, gerginlik, açık talep
- Aynı gün içinde tekrar arama, ilk çağrının niyetiyle eşleştirilerek izleniyor
- Yanlış işlem başlatma ayrı ve sıfır hedefli panel; genel hata oranına gömülmüyor
- Gecikme bütçesi bileşen bazında: tanıma, niyet, arka uç sorgu ve seslendirme ayrı ayrı
Devreye alma ve işletme#
- 1Kayıt üzerinde çevrimdışı koşu
Geçmiş çağrı kayıtlarında tanıma ve niyet katmanı koşuluyor; kapsam kararı, gerçekte hangi niyetlerin ne sıklıkta geldiğine bakılarak veriliyor.
- 2Yalnız karşılama
Ajan ilk turda sadece müşterinin ne istediğini anlayıp doğru kuyruğa yönlendiriyor, hiçbir işlem yapmıyor; niyet karışıklığı burada düzeltiliyor.
- 3Sınırlı kapsamla açılım
Geri alınabilir ve düşük riskli, az sayıda işlem ajana veriliyor; devir tetikleyicileri gevşek ayarla başlıyor ve devir nedenleri günlük okunuyor.
- 4Dilim bazlı genişleme
Kapsam, ölçümün zayıf olduğu dilimler düzelmeden genişletilmiyor; yeni niyet eklemenin koşulu o niyette dilim bazlı ölçümün kurulmuş olması.
Nerede yanıldık#
İlk dönemde tanıma kalitesini tek bir ortalama hata oranıyla izledik ve tablo iyi görünüyordu; oysa devirlerin büyük kısmı belirli dilimlerden geliyordu. Hoparlöre alınmış çağrılar, araç içinden gelen aramalar ve bölgesel söyleyişte ortalama tamamen yanıltıcıydı ve dilim bazlı ölçüm kurulana kadar sorunu niyet katmanında aradık. İkinci hata araya girmeyi kapatmaktı: ajan cümlesini bitirmeden müşteri konuşmaya başlıyor, ilk hece kaybediliyor ve kayıp hece kart ile kredi gibi yakın sesleri karıştırmaya yetiyordu. Araya girmeyi açıp ilk heceyi koruyacak bir tampon eklemek, niyet modeline dokunmadan yapılan en etkili düzeltme oldu.
Bir sonraki projede ne değişir?
Bir vakanın en değerli bölümü sonuç değil, tekrar edilebilir dersidir.
- 01
Konuşma tanıma kalitesini ortalama hata oranıyla izlemek yanıltıyor; ortalama iyi görünürken hoparlör, araç içi gürültü ve bölgesel söyleyiş dilimlerinde kalite çöküyor ve devirlerin çoğu o dilimlerden geliyor.
- 02
Müşteri ajanın sözünü kesiyor; araya girmeye izin verilmediğinde ilk hece kayboluyor ve kayıp hece doğrudan niyet hatasına dönüşüyor.
- 03
Açık operatör talebini tartışmaya açmak, kazanılacak otomasyondan daha çok güven kaybettiriyor; bu talep bir tetikleyici olarak anında ve koşulsuz çalışmalı.
- 04
Serbest yönlendirme yapan bir niyet katmanı kapalı işlem kümesinden daha esnek görünüyor ama geri alınamaz işlemlerde yanlış eşleşmenin maliyeti bu esnekliği karşılamıyor; kapsam dışı sınıfı açıkça bulunmalı.
- 05
Gecikme bütçesi tek bir toplam hedef olarak yazıldığında hangi parçanın taştığı görünmüyor; bütçe tanıma, niyet, arka uç sorgu ve seslendirme arasında bölünüp parça parça izlenmeli.
Vaka kütüphanesinden
- EğitimDers materyali üretiminde telif ve kaynak zinciriBir eğitim içeriği ekibinin slayt, çalışma kâğıdı ve ders notu arşivi yıllar içinde karışık kaynaklardan büyümüştü: internetten alınmış görseller, yabancı kitaplardan çevrilmiş paragraflar, farklı lisanslarla dolaşan açık ders materyalleri. Bir hak sahibi itiraz ettiğinde hangi paragrafın nereden geldiğini kimse söyleyemiyor; arama dosya adına ve ekip hafızasına kalıyordu. Model destekli üretim devreye girdikten sonra bu belirsizlik büyüdü, çünkü üretilen metnin dayandığı kaynak hiçbir yerde yazılı olmuyordu. Ekipte yaygın olan eğitim amaçlı kullanım serbesttir varsayımı da hiç denetlenmemiş bir varsayımdı.
- EğitimÖdeve biçimlendirici geri bildirim üretimiBir özel okul grubunda dil ve sosyal bilimler öğretmenleri her hafta çok sayıda yazılı ödev okuyordu; not zamanında giriliyordu ama öğrenciye dönen şey bir puan ile kısa bir genel yorumdu. Hangi öğrencinin hangi rubrik ölçütünde tekrar tekrar zorlandığı hiçbir yerde toplu olarak durmuyordu; öğretmen bunu kendi defterindeki izlenimden hatırlıyordu. Geri bildirim yazma işi mesai dışına taştığı için dönem başındaki ödevlerde ayrıntılı, dönem sonuna doğru tek cümleye inen bir kalite farkı oluşuyordu. Velinin gördüğü tabloda puan vardı, gerekçe yoktu.
- EğitimÖğrenci risk modelinde etik sınırlarBir yükseköğretim kurumunda akademik danışmanlar, dersi bırakma ya da kayıt yenilememe riski taşıyan öğrencilere ulaşmayı sezgiyle yapıyordu: yokluğu fark edilen öğrenciye yazılıyor, fark edilmeyen kimseye görünmüyordu. Devam bilgisi, ödev teslimleri ve öğrenme yönetim sistemi hareketleri ayrı sistemlerde durduğu için kimse bunları tek bir öğrenci için yan yana koymuyordu. Danışmanın haftada yapabileceği görüşme sayısı sınırlıydı ama bu sınırın kime harcandığı hiçbir kayıtta yoktu. Risk modeli gündeme geldiğinde ilk itiraz teknik değildi: skor öğrenciye yapışan bir etikete dönerse ne olacağı soruldu.
BUILD
Aynı yaklaşımı kurumunuzda kurmak ister misiniz?
Discovery oturumunda mevcut durumunuzu, veri erişiminizi ve başarı tanımınızı birlikte yazıyoruz.