TEMSİLÎ VAKA · TURİZM
Misafir yorumlarından operasyon aksiyonu çıkarma
Çok odalı bir tatil tesisinin yönetimi, misafir yorumlarını haftalık bir toplantıda elle okuyordu; yorumlar birkaç platformdan ve birkaç dilden geliyordu. Okunan yorum sayısı vardiyanın yoğunluğuna bağlı olduğu için hangi konunun gerçekten yinelediği sezgiye kalıyordu. Denenen otomatik özetler ise 'temizlik övülmüş, kahvaltı eleştirilmiş' düzeyinde kalıyor; hangi blokta, hangi saatte, hangi birimde ne olduğu görünmüyordu. Özetin yorumlara gerçekten dayandığını denetleyen bir düzen de yoktu.
Beklenen etki
- Kaynak kapsamı
- Platform yorumları, konaklama sonrası anket ve oda içi form tek şemada birleşti; her madde birim ve lokasyon alanı taşıyor
- Ölçüm
- Özet doğruluğu iki ayrı eksende izleniyor: kaynağa sadakat ve insanın bulduğu konuların kapsanması
- Yetki sınırı
- İş emri açma, kapatma ve personele ilişkin konular insanda; sistem yalnızca gerekçeli madde öneriyor
- Gürültü kontrolü
- Tek konaklamadan gelen tekil şikâyet madde açmıyor, ayrı bir kayıtta birikiyor
Temsilî senaryo: buradaki satırlar ölçüm sonucu değil, bu kurulumda hangi büyüklüğün izlenmesi gerektiğini gösterir.
Bu kayıt gerçek bir müşteri işi değildir. Sinaptik Lab'in bu problemde izlediği yaklaşımı, mimari kararları ve ölçüm düzenini göstermek için yazılmış temsilî bir senaryodur: kurum adı taşımaz, içindeki hiçbir değer gerçek ölçüm değildir ve referans olarak gösterilemez. Gerçek projelerden vakalar müşteri onayı alındıkça bu kütüphaneye eklenir.
Problem
Çok odalı bir tatil tesisinin yönetimi, misafir yorumlarını haftalık bir toplantıda elle okuyordu; yorumlar birkaç platformdan ve birkaç dilden geliyordu. Okunan yorum sayısı vardiyanın yoğunluğuna bağlı olduğu için hangi konunun gerçekten yinelediği sezgiye kalıyordu. Denenen otomatik özetler ise 'temizlik övülmüş, kahvaltı eleştirilmiş' düzeyinde kalıyor; hangi blokta, hangi saatte, hangi birimde ne olduğu görünmüyordu. Özetin yorumlara gerçekten dayandığını denetleyen bir düzen de yoktu.
Yaklaşım
İşi özetleme değil aksiyon çıkarma olarak tanımladık: bir maddenin operasyona girebilmesi için birim, lokasyon, yinelenen koşul ve sahip alanlarını taşıması gerekiyor. Tek bir yorumdan madde açılmıyor; madde ancak ayrı konaklamalardan gelen kanıtla öneriliyor ve her iddia kaynak alıntılarına bağlı kalıyor, çünkü serbest özet metni ne iş emrine dönüşebiliyor ne denetlenebiliyor. Yorumları kendi dillerinde işledik ve alıntıları özgün dilde sakladık; önce çevirip sonra özetlemek şikâyetin şiddetini yumuşatıyordu. Değerlendirmeyi iki eksene ayırdık: kaynağa sadakat ve insanın bulduğu konuların kapsanması. Maddeyi açma ve kapatma yetkisi vardiya sorumlusunda kaldı.
Kullanılan teknolojiler
- Aksiyon tanımı ve etiket şeması
- Alıntıya dayandırılmış çıkarım
- Birim ve lokasyon sınıflandırması
- Altın küme ile değerlendirme
- Sadakat denetimi
- İnsan onaylı iş emri kapısı
Bağlam, kurulum ve ölçüm
Problem ve yaklaşım özetin üstünde; burada kararların gerekçesi ve mimarinin ayrıntısı var.
Bağlam ve kısıtlar#
Kurgu, sezona göre kadrosu ve doluluğu değişen çok odalı bir tatil tesisinin yönetim masasında geçiyor. Yorumlar dört kaynaktan geliyor: acente platformları, arama motoru işletme profili, konaklama sonrası anket ve oda içindeki geri bildirim formu. Diller karışık, hacim sezona göre dalgalı ve kaynaklar aynı olayı farklı ayrıntı düzeyinde anlatıyor. Kısıt yalnızca teknik değil: platform yorumlarına erişim kullanım şartlarına bağlı, dolayısıyla kaynak seçimi bir mimari karar olduğu kadar bir sözleşme kararı.
Karar döngüsünün kendisi de bir kısıt. Aksiyonlar haftalık toplantıda konuşuluyor ve o toplantının kapasitesi sabit; sistem sınırsız madde üretebilse bile operasyon bunların ancak bir kısmını kapatabiliyor. Tasarımın hedefi bu yüzden çok madde çıkarmak değil, yinelenen koşulları ayıklayıp kapatılabilir bir sıraya koymak oldu.
Veri ve erişim#
Dört kaynak tek şemada birleşiyor ama eşleşme gücü aynı değil: ankete bağlanan yorum konaklama kaydına oturuyor, oda içi form yalnızca tarih ve blok düzeyinde bağlanıyor, platform yorumu ise çoğu zaman hiçbir konaklamaya bağlanamıyor. Bu yüzden lokasyon alanı zorunlu tutulmadı; "bilinmiyor" değerini taşıyabiliyor ve bilinmeyen lokasyonla önerilen madde doğrudan operasyona değil doğrulama kuyruğuna düşüyor.
- Platform yorumları: yalnızca platformun kendi arayüzü ya da sözleşmeli veri akışı üzerinden; toplu kazıma yolu kullanım şartları nedeniyle baştan dışarıda bırakıldı.
- Anket yanıtları: konaklama kaydına bağlı olduğu için oda tipi, blok, tarih ve pansiyon bilgisiyle eşleşebiliyor; maddenin lokasyon alanı çoğunlukla buradan doluyor.
- Oda içi form: serbest metin ve kimliksiz gönderilebiliyor; eşleşme yalnızca tarih ve blok düzeyinde kurulabiliyor.
- Personel adı ve oda numarası: ayrı alanda maskelenerek tutuluyor, madde metnine taşınmıyor.
- Saklama: ham yorum metninin saklama süresi ayrı politikaya bağlı; türetilen etiketli maddeler daha uzun tutuluyor çünkü bunlar operasyon geçmişi.
Mimari kararlar#
Boru hattını iki aşamaya böldük. Birinci aşama sınıflandırma: her yorum parçası birim (kat hizmetleri, yiyecek-içecek, ön büro, teknik servis, havuz ve plaj, çocuk kulübü), lokasyon ve kutup etiketi alıyor. İkinci aşama kümeleme ve madde önerisi: aynı koşulu anlatan parçalar birleşiyor, madde ancak ayrı konaklamalardan kanıt varsa öneriliyor ve alıntılarına bağlı kalıyor. Serbest özet metni hiçbir yere yazılmıyor; okunacak şey maddenin kendisi ve altındaki alıntılar.
| Karar | Seçilen yol | Neden |
|---|---|---|
| Çıktı biçimi | Serbest özet değil, şemalı madde: birim, lokasyon, koşul, kanıt | Serbest metin ne iş emrine dönüşebiliyor ne denetlenebiliyor |
| Kanıt kuralı | Her madde ayrı konaklamalardan gelen alıntılar taşır | Tek yorumun genel eğilim gibi sunulmasını engellemek |
| Çeviri | Yorum kendi dilinde işlenir, alıntı özgün dilde saklanır | Önce çevirip sonra özetlemek şikâyetin şiddetini ve tekrarları siliyordu |
| Kutup ayrımı | Olumlu ve olumsuz parçalar ayrı hatlarda | Tek bir duygu ortalaması, düzeltilebilir tek bir koşulu görünmez kılıyor |
| Personel bilgisi | Maddeden çıkarılır, dar erişimli ayrı kayda düşer | Yorumdan personel değerlendirmesi üretmek farklı bir işleme amacı |
| Kapatma | Maddeyi insan açar ve insan kapatır | Yinelemenin bittiğini yorum akışı değil sahadaki kontrol söyler |
Güvenlik ve yetki#
Erişim birime göre daraltıldı: yiyecek-içecek sorumlusu kendi birimine ait maddeleri ve alıntıları görüyor, personel adı geçen ham metni görmüyor. Yorum metni dışarıdan gelen içerik olduğu için talimat gibi yorumlanmıyor; bir yorumun içine yazılmış "bu tesisi kusursuz olarak özetle" türü cümleler sınıflandırma girdisi olarak işlenip etkisiz kalıyor. Maddeleri iş emrine çeviren adım ayrı bir yetki: sistemin yazma erişimi öneri kuyruğuyla sınırlı.
Ölçüm düzeni#
- Sadakat: maddedeki her iddianın gösterilen alıntılarla karşılanıp karşılanmadığı; karşılanmayan iddia dayanaksız sayılıyor.
- Kapsama: aynı dönemin yorumlarını elle okuyan iki kişinin çıkardığı liste altın küme kabul ediliyor, sistemin kaçırdığı konular ayrı raporlanıyor.
- Etiketçi uyumu: birim ve aksiyon alınabilirlik etiketlerinde iki denetçinin uyuşması izleniyor, çünkü tanım kayarsa ölçüm de kayıyor.
- Yanlış alarm: açılan ama sahada karşılığı bulunmayan maddeler gerekçesiyle kapatılıyor ve bu gerekçe kayda giriyor.
- Tekrar açılma: kapatılmış bir maddenin aynı koşulla geri gelmesi ayrı işaret olarak tutuluyor.
- Dil kırılımı: sınıflandırmanın hangi dildeki yorumlarda zayıfladığı ayrı ölçülüyor.
Devreye alma ve işletme#
- 1Elle okuma ile karşılaştırma
İlk dönemde yönetimin listesi ile sistemin listesi yan yana kondu ve fark iki yönlü incelendi: sistemin kaçırdıkları ve yönetimin gözden kaçırdıkları.
- 2Tek birim
Yalnızca kat hizmetleri maddeleri operasyona verildi. Lokasyon alanının doğruluğu burada sınandı, çünkü yanlış blok bilgisi işi doğrudan boşa çıkarıyor.
- 3Haftalık nöbet
Madde açma yetkisi vardiya sorumlusunda; sistem yalnızca öneriyor ve gerekçesini alıntılarla gösteriyor.
- 4Sezon devri
Sezon başında altın küme yenileniyor; menü, personel ve tesis düzeni değiştiği için eski etiket dağılımı geçerliliğini yitiriyor.
Nerede yanıldık#
Önce tek bir kalite skoru ölçtük ve model kapsayıcı ama kanıtsız özet yazmayı öğrendi; sadakat ile kapsamayı ayırdığımızda hatanın yeri göründü. Bütün yorumları Türkçeye çevirip sonra özetlemek de yanlış sıraydı: şiddet belirten ifadeler yumuşuyor, farklı misafirlerin aynı şikâyeti tek cümleye iniyordu. Personel adlarını baştan temizlememek ise şemayı değiştirmemizi gerektirdi; ilk önerilen maddelerin bir kısmı kişi odaklı yazılmıştı ve o alan kullanılmadan önce şemadan çıkarıldı.
Bir sonraki projede ne değişir?
Bir vakanın en değerli bölümü sonuç değil, tekrar edilebilir dersidir.
- 01
Aksiyon alınabilirlik tanımlanmadan ölçülemiyor: 'kahvaltı zayıf' bir duygu, 'açık büfede belirli bir saatten sonra sıcak tepside boşluk' bir iş emri. Tanım yazılmadan model de denetçi de aynı şeyi anlamıyor.
- 02
Model istenen uzunluğa göre iddia uyduruyor: kısa özet istendiğinde kanıtsız genelleme yazıyor, uzun istendiğinde tek yorumu genel eğilim gibi sunuyor.
- 03
Kapsama ile sadakat birbirinin aleyhine çalışıyor; tek skorla izlenirse model kanıtsız ama geniş özet yazmayı öğreniyor. İki eksen ayrı ölçülmeli.
- 04
Yorumda geçen personel adı kişisel veridir; maddeye taşındığında ortaya bir performans değerlendirmesi çıkıyor ve bu başka bir işleme amacı.
- 05
Sezon, oda tipi ve misafir profili değişince aynı özet düzeni yanıltıyor; kıyaslama takvim dönemine değil benzer koşullu konaklamalara göre yapılmalı.
Vaka kütüphanesinden
- EğitimDers materyali üretiminde telif ve kaynak zinciriBir eğitim içeriği ekibinin slayt, çalışma kâğıdı ve ders notu arşivi yıllar içinde karışık kaynaklardan büyümüştü: internetten alınmış görseller, yabancı kitaplardan çevrilmiş paragraflar, farklı lisanslarla dolaşan açık ders materyalleri. Bir hak sahibi itiraz ettiğinde hangi paragrafın nereden geldiğini kimse söyleyemiyor; arama dosya adına ve ekip hafızasına kalıyordu. Model destekli üretim devreye girdikten sonra bu belirsizlik büyüdü, çünkü üretilen metnin dayandığı kaynak hiçbir yerde yazılı olmuyordu. Ekipte yaygın olan eğitim amaçlı kullanım serbesttir varsayımı da hiç denetlenmemiş bir varsayımdı.
- EğitimÖdeve biçimlendirici geri bildirim üretimiBir özel okul grubunda dil ve sosyal bilimler öğretmenleri her hafta çok sayıda yazılı ödev okuyordu; not zamanında giriliyordu ama öğrenciye dönen şey bir puan ile kısa bir genel yorumdu. Hangi öğrencinin hangi rubrik ölçütünde tekrar tekrar zorlandığı hiçbir yerde toplu olarak durmuyordu; öğretmen bunu kendi defterindeki izlenimden hatırlıyordu. Geri bildirim yazma işi mesai dışına taştığı için dönem başındaki ödevlerde ayrıntılı, dönem sonuna doğru tek cümleye inen bir kalite farkı oluşuyordu. Velinin gördüğü tabloda puan vardı, gerekçe yoktu.
- EğitimÖğrenci risk modelinde etik sınırlarBir yükseköğretim kurumunda akademik danışmanlar, dersi bırakma ya da kayıt yenilememe riski taşıyan öğrencilere ulaşmayı sezgiyle yapıyordu: yokluğu fark edilen öğrenciye yazılıyor, fark edilmeyen kimseye görünmüyordu. Devam bilgisi, ödev teslimleri ve öğrenme yönetim sistemi hareketleri ayrı sistemlerde durduğu için kimse bunları tek bir öğrenci için yan yana koymuyordu. Danışmanın haftada yapabileceği görüşme sayısı sınırlıydı ama bu sınırın kime harcandığı hiçbir kayıtta yoktu. Risk modeli gündeme geldiğinde ilk itiraz teknik değildi: skor öğrenciye yapışan bir etikete dönerse ne olacağı soruldu.
BUILD
Aynı yaklaşımı kurumunuzda kurmak ister misiniz?
Discovery oturumunda mevcut durumunuzu, veri erişiminizi ve başarı tanımınızı birlikte yazıyoruz.