TEMSİLÎ VAKA · TURİZM
Çok dilli misafir desteğinde dil algılama ve devir
Tatil bölgesindeki bir konaklama işletmesinin misafir desteği beş dilde geliyordu ve mesajların çoğu birkaç kelimelik. Asistan zaman zaman misafirin yazdığından başka bir dilde cevap veriyor, zaman zaman doğru dilde ama yanlış hitap düzeyinde yazıyordu; bazı cevaplarda tesiste bulunmayan bir olanak sözü veriliyordu. Kalite bütün diller için tek bir toplam puanla izlendiği için hangi dilde bozulduğu görünmüyordu. Şikâyet ve sağlık konularının insana ne zaman geçeceği de yazılı bir kurala değil, temsilcinin o an mesaj kutusuna bakıp bakmamasına bağlıydı.
Beklenen etki
- Hizmet kapsamı
- Desteklenen misafir dillerinde birinci temas; iptal, ödeme, sağlık ve şikâyet konuları bilinçli olarak kapsam dışı
- Ölçüm
- Cevap kalitesi toplamda değil dil başına izleniyor
- Tutarlılık
- Pansiyon tipi, iptal koşulu ve olanak cümleleri onaylı sözlük ile künye dosyasına bağlı, serbest çeviriye bırakılmıyor
- Karar sınırı
- Dil güveni eşiğin altındaysa asistan tahmin etmiyor; ya dili soruyor ya devrediyor
Temsilî senaryo: buradaki satırlar ölçüm sonucu değil, bu kurulumda hangi büyüklüğün izlenmesi gerektiğini gösterir.
Bu kayıt gerçek bir müşteri işi değildir. Sinaptik Lab'in bu problemde izlediği yaklaşımı, mimari kararları ve ölçüm düzenini göstermek için yazılmış temsilî bir senaryodur: kurum adı taşımaz, içindeki hiçbir değer gerçek ölçüm değildir ve referans olarak gösterilemez. Gerçek projelerden vakalar müşteri onayı alındıkça bu kütüphaneye eklenir.
Problem
Tatil bölgesindeki bir konaklama işletmesinin misafir desteği beş dilde geliyordu ve mesajların çoğu birkaç kelimelik. Asistan zaman zaman misafirin yazdığından başka bir dilde cevap veriyor, zaman zaman doğru dilde ama yanlış hitap düzeyinde yazıyordu; bazı cevaplarda tesiste bulunmayan bir olanak sözü veriliyordu. Kalite bütün diller için tek bir toplam puanla izlendiği için hangi dilde bozulduğu görünmüyordu. Şikâyet ve sağlık konularının insana ne zaman geçeceği de yazılı bir kurala değil, temsilcinin o an mesaj kutusuna bakıp bakmamasına bağlıydı.
Yaklaşım
Dil kararını modelin elinden alıp koda taşıdık: metin algılayıcısının sinyalini rezervasyon künyesindeki dil tercihi ve konuşmada yerleşmiş dille birleştirdik, güven eşiğinin altında kalındığında tahmin yerine kısa ve çift dilli bir soru sorduk. Hitap düzeyini dil başına sabit bir politika kaydına bağladık, çünkü tonu model turuna bırakmak aynı konuşma içinde kaymaya yol açıyordu. Tesise dair her cümlenin, ön büro müdürünün onayladığı ve sürüm etiketi taşıyan künye dosyasından geri getirilerek yazılmasını zorunlu kıldık; olanak, politika ve alkol ya da erişilebilirlik gibi sorular modelin genel bilgisinden yazılırsa taahhüde dönüşüyor. Şikâyet, ödeme ve sağlık konularını dil güveninden bağımsız olarak insana devrettik. Değerlendirmeyi dil başına ayrı kümelerle kurduk.
Kullanılan teknolojiler
- Sinyal birleşimli dil algılama
- Konuşma düzeyinde dil yapışkanlığı
- Denetimli terim sözlüğü
- Tesis gerçeği için geri getirme
- Dil başına değerlendirme kümesi
- Konu ve eşik tabanlı insana devir
Bağlam, kurulum ve ölçüm
Problem ve yaklaşım özetin üstünde; burada kararların gerekçesi ve mimarinin ayrıntısı var.
Bağlam ve kısıtlar#
Anlatılan düzen, sezon boyunca kadrosu dönen bir konaklama işletmesinin misafir iletişim ekibine ait. Mesajlar dört yüzeyden geliyor: mesajlaşma uygulaması, e-posta, acente mesaj kutusu ve oda içindeki kare koda bağlı form. Gelen dillerin dağılımı sezon içinde değişiyor, mesajlar kısa ve sık sık karışık dilde yazılıyor. İki kanal kısıtı mimariyi doğrudan etkiledi: mesajlaşma platformunda belirli bir süre sonra yalnızca onaylı şablonla yazılabiliyor, acente mesaj kutusunda ise misafirin iletişim bilgisi maskeli ve kanal dışına çıkmak sözleşmeye aykırı; yani asistanın "size e-posta atalım" gibi bir kaçış yolu yok.
Ekip tarafındaki kısıt en az kanal kısıtı kadar belirleyiciydi: hangi dili konuşan temsilcinin hangi vardiyada bulunduğu sezon içinde değişiyor ve bazı diller için gece vardiyasında karşılık verecek kimse olmuyor. Bu yüzden asistanın işi "cevabı üretmek" olarak değil, karşılığı olmayan saatlerde konuşmayı doğru dilde ayakta tutmak ve devredilecek olanı ayırmak olarak tanımlandı. Devir kuyruğunun dil bilgisiyle etiketlenmesi de buradan çıktı.
Veri ve erişim#
Hangi kanaldan gelirse gelsin mesajlar aynı konuşma kaydına düşüyor, ama asistanın erişimi üç kümeye ayrıldı: konuşma, rezervasyon künyesi ve tesis gerçeği dosyası. Üçüncüsü editöryal bir varlık; ön büro müdürü onaylıyor ve her kaydın sürüm etiketi var. Böylece bir olanak değiştiğinde cevapların neden değiştiğini kaynağına kadar izlemek mümkün oluyor.
- Konuşma: metin, kanal, algılanan dil, güven değeri ve dil kararının hangi sinyalden geldiği.
- Rezervasyon künyesi: konaklama tarihleri, oda ve pansiyon tipi, kanal. Ödeme ve kart verisi asistana kapalı.
- Tesis gerçeği: olanak listesi, çalışma saatleri, iptal ve depozito politikası; her kayıt dil karşılıklarıyla ve sürüm etiketiyle tutuluyor.
- Terim sözlüğü: 'her şey dahil', 'yarım pansiyon', 'kapora', 'gelmeyen misafir' gibi terimlerin beş dildeki onaylı karşılığı.
- Devir kaydı: hangi konuşma hangi nedenle insana geçti ve hangi dili konuşan temsilciye düştü.
Mimari kararlar#
İki karar belirleyici oldu. Birincisi dilin nasıl belirleneceği: tek bir algılayıcıya güvenmek yerine üç sinyali birleştirdik ve eşik altındaki durumda tahmin etmeyi yasakladık. İkincisi cevabın neye dayanacağı: cevap tek modelde üretiliyor ama tesise dair her cümle geri getirmeden gelmek zorunda, aksi halde model kendi genel bilgisinden yazıyor.
| Karar | Seçilen yol | Neden |
|---|---|---|
| Dil kararı | Metin sinyali, künye dili ve konuşma geçmişinin birleşimi | Tek başına metin algılayıcısı kısa ve karışık yazımlı mesajda kararsız |
| Eşik altı durum | Tahmin yok; kısa ve çift dilli bir soru | Yanlış dilde uzun bir cevap, misafiri düzeltmeye zorluyor ve konuşmayı uzatıyor |
| Hitap düzeyi | Dil başına sabit politika kaydı | Ton kararı model turuna bırakıldığında aynı konuşma içinde resmîden samimiye kayıyordu |
| Tesis bilgisi | Yalnızca künye dosyasından geri getirme | Olanak ve politika cümlesi taahhüt kurar; modelin genel bilgisi kaynak sayılamaz |
| Terimler | Onaylı sözlük, çeviri anında kilitli | 'Yarım pansiyon' serbest çevrildiğinde kahvaltı ve akşam yemeği kapsamı değişiyor |
| İnsana devir | Konu tabanlı kesin kural ile dil güveni eşiğinin birleşimi | Şikâyet, ödeme ve sağlık konularında dil doğru olsa da karar insanda kalmalı |
Güvenlik ve yetki#
Yetki kanal başına tanımlandı. Acente mesaj kutusunda kişisel iletişim verisi maskeli kalıyor; asistan maskeyi aşmaya çalışmıyor ve misafiri kanal dışına çağırmıyor. Misafirin alerjen ya da sağlık durumu anlattığı mesajlar ayrı işleniyor: operasyona yalnızca gereken kadarıyla etiketli iş emri gidiyor, serbest metnin kendisi dar erişimli kayıtta kalıyor. Modelin ve çeviri hizmetinin hangi bölgede çalıştığı ayrıca kayıt altında, çünkü bu bir aktarım sorusu.
Ölçüm düzeni#
- Dil başına ayrı örneklem: her dil için haftalık sabit sayıda konuşma, o dili konuşan temsilci tarafından denetleniyor.
- Dil kararı hatası ayrı sayılıyor: yanlış dilde cevap ile doğru dilde yanlış içerik iki farklı hata sınıfı.
- Hitap ve ton hatası kendi etiketiyle kaydediliyor; içerik doğru olsa bile kayda giriyor.
- Kaynaksız iddia denetimi: olanak ve politika cümlelerinin künye dosyasındaki kayda dayanıp dayanmadığı örneklemde kontrol ediliyor.
- Devir sonrası izleme: devredilen konuşmada misafirin aynı soruyu tekrar sorması ayrı işaret olarak tutuluyor.
Devreye alma ve işletme#
- 1Yalnızca algılama
Önce dil algılama tek başına yayına alındı; kararı kimse görmüyor, yalnızca kayda yazılıyordu. Eşik değeri gerçek mesajlar üzerinden buradan belirlendi.
- 2Taslak önerme
Asistan cevabı yazdı, gönderen temsilci oldu. Temsilcinin yaptığı düzeltmeler hata sınıfına göre etiketlendi; ton düzeltmeleri ayrı sayıldı.
- 3Dar konuda otomatik cevap
Saatler, ulaşım ve olanak gibi geri getirmeye dayanan konular açıldı. Ödeme, iptal ve şikâyet dışarıda bırakıldı.
- 4Sezon nöbeti
Yoğun sezonda dil başına denetim payı artırıldı. Yeni bir dil pazarı açıldığında o dil, kendi değerlendirme kümesi kurulmadan otomatik cevaba alınmıyor.
Nerede yanıldık#
Dil kararını başlangıçta her mesajda yeniden verdik; misafir "ok" yazdığında konuşma başka bir dile atlıyordu. Kararı konuşmaya bağlayıp yalnızca güçlü bir sinyalle değiştirmeye geçtik. Daha pahalıya gelen yanılgı toplam kalite ölçmekti: genel görünüm kabul edilebilirken bir dilde cevaplar belirgin biçimde zayıftı ve bunu ancak dil başına örneklem kurduğumuzda gördük. Aynı körlüğün bir başka yüzü, ton hatasını çeviri hatasıyla aynı kefeye koymaktı; iki hata farklı düzeltme istiyor, tek etiket altında ikisi de kayboluyor.
Bir sonraki projede ne değişir?
Bir vakanın en değerli bölümü sonuç değil, tekrar edilebilir dersidir.
- 01
Kısa mesajda dil algılama çalışmaz: 'ok', 'tamam', tek emoji ya da yalnızca bir tarih, algılayıcıyı rastgele bir dile sürükler. Kararı konuşma düzeyine taşımak bu hatayı kapatıyor.
- 02
Latin harfleriyle ve Türkçe harfler olmadan yazılmış Türkçe, başka dillerle karışıyor; rezervasyonun geldiği ülke ve profil dili bazen metnin kendisinden güvenilir sinyal.
- 03
Hitap düzeyi çeviri doğruluğundan bağımsız bir hata sınıfı. Cümle doğru, ton yanlış olduğunda misafir içeriğe değil üsluba tepki veriyor; bu iki hatayı aynı etiketle izlerseniz ikisi de görünmez.
- 04
Dil başına ayrı değerlendirme kümesi kurulmadıkça zayıf dil, toplam skorun içinde gizleniyor; yeni bir pazar açıldığında o dil kendi kümesi kurulana kadar otomatik cevaba açılmamalı.
- 05
Helal, alkol, erişilebilirlik ve evcil hayvan soruları tesis gerçeğidir. Modelin genel bilgisinden yazılan tek bir cümle, konaklama sırasında karşılanması gereken bir taahhüt üretiyor.
Vaka kütüphanesinden
- EğitimDers materyali üretiminde telif ve kaynak zinciriBir eğitim içeriği ekibinin slayt, çalışma kâğıdı ve ders notu arşivi yıllar içinde karışık kaynaklardan büyümüştü: internetten alınmış görseller, yabancı kitaplardan çevrilmiş paragraflar, farklı lisanslarla dolaşan açık ders materyalleri. Bir hak sahibi itiraz ettiğinde hangi paragrafın nereden geldiğini kimse söyleyemiyor; arama dosya adına ve ekip hafızasına kalıyordu. Model destekli üretim devreye girdikten sonra bu belirsizlik büyüdü, çünkü üretilen metnin dayandığı kaynak hiçbir yerde yazılı olmuyordu. Ekipte yaygın olan eğitim amaçlı kullanım serbesttir varsayımı da hiç denetlenmemiş bir varsayımdı.
- EğitimÖdeve biçimlendirici geri bildirim üretimiBir özel okul grubunda dil ve sosyal bilimler öğretmenleri her hafta çok sayıda yazılı ödev okuyordu; not zamanında giriliyordu ama öğrenciye dönen şey bir puan ile kısa bir genel yorumdu. Hangi öğrencinin hangi rubrik ölçütünde tekrar tekrar zorlandığı hiçbir yerde toplu olarak durmuyordu; öğretmen bunu kendi defterindeki izlenimden hatırlıyordu. Geri bildirim yazma işi mesai dışına taştığı için dönem başındaki ödevlerde ayrıntılı, dönem sonuna doğru tek cümleye inen bir kalite farkı oluşuyordu. Velinin gördüğü tabloda puan vardı, gerekçe yoktu.
- EğitimÖğrenci risk modelinde etik sınırlarBir yükseköğretim kurumunda akademik danışmanlar, dersi bırakma ya da kayıt yenilememe riski taşıyan öğrencilere ulaşmayı sezgiyle yapıyordu: yokluğu fark edilen öğrenciye yazılıyor, fark edilmeyen kimseye görünmüyordu. Devam bilgisi, ödev teslimleri ve öğrenme yönetim sistemi hareketleri ayrı sistemlerde durduğu için kimse bunları tek bir öğrenci için yan yana koymuyordu. Danışmanın haftada yapabileceği görüşme sayısı sınırlıydı ama bu sınırın kime harcandığı hiçbir kayıtta yoktu. Risk modeli gündeme geldiğinde ilk itiraz teknik değildi: skor öğrenciye yapışan bir etikete dönerse ne olacağı soruldu.
BUILD
Aynı yaklaşımı kurumunuzda kurmak ister misiniz?
Discovery oturumunda mevcut durumunuzu, veri erişiminizi ve başarı tanımınızı birlikte yazıyoruz.