Müşteri yorumlarında konu ve duygu ayrıştırma

Tek puanın gizlediği şey#

Perakendede bir yorum genellikle ürünü değil deneyimin tamamını anlatır: kargo, paketleme, satıcı iletişimi, beden uyumu ve ürünün kendisi tek metnin içinde iç içe geçer. Bunlar tek bir yıldız puanına indirildiğinde, tedarikçiyle yapılan bir kalite görüşmesine götürülecek somut bilgi kalmıyor. Kategori ekibi bu boşluğu yorumları elle okuyarak kapatıyor, ama örneklemi kendi seçtiği için gördüğü şey katalogun tamamı değil.

Teknik kısıt Türkçenin kendisiydi. Olumsuzluk eke gömülü, kip ve ima yaygın, ürün adları çekim alıyor; hazır ve çok dilli bir duygu sınıflandırıcısı bu yapılarda şaşırtıcı biçimde ters karar veriyor. Üstelik hatalar rastgele değil sistematikti: belirli kalıplarda hep aynı yöne sapıyordu, bu da düzeltmenin mümkün ama önce adlandırılması gereken bir iş olduğunu gösterdi.

Veri, maskeleme ve erişim#

Girdi, e-ticaret platformundaki ürün yorumları ile müşteri hizmetleri kayıtlarının yorum benzeri kısmıydı. İkisi aynı havuza konmadı: müşteri hizmetleri kaydı sipariş kimliğiyle doğrudan ilişkili olduğu için çok daha hassas ve ayrı bir erişim rejiminde tutuldu. Maskeleme hattın en başına, sınıflama çağrısından önceye yerleştirildi; sonradan maskelemek, veriyi zaten kopyalamış olmak anlamına geliyor.

• Sınıflamaya giren: yorum metni (maskelenmiş), ürün kategorisi, yıldız puanı, doğrulanmış satın alma bayrağı
• Sınıflamaya girmeyen: yorum sahibinin adı, üyelik bilgisi, sipariş kimliği, adres alanları
• Maskelenen kalıplar: telefon, e-posta, sipariş ve takip numarası, kart parçaları, açık adres ifadeleri
• Ayrı rejimde tutulan: müşteri hizmetleri yazışmaları ve iade açıklamaları
• Silme akışı: yorum silindiğinde türetilmiş etiketler, özetler ve değerlendirme kümesindeki kopya birlikte düşüyor

Mimari kararlar#

Model seçimi burada ikinci derece bir konuydu; birinci derece konu etiket şemasıydı. Şema yanlış kurulduğunda hangi model kullanılırsa kullanılsın çıktı işe yaramıyor, çünkü ölçüm de aynı yanlış şemayla yapılıyor. Bu yüzden kararlar önce tanım ve kılavuz düzeyinde, sonra mimari düzeyde verildi.

Hassas veri ve moderasyon yetkisi#

Yorum moderasyonunda yayından kaldırma yetkisi modele hiç verilmedi; model yalnızca sıralama ve işaretleme yapıyor, kaldırma kararını moderatör veriyor ve karar gerekçesiyle kayda geçiyor. Bunun nedeni yalnızca hata payı değil, kaldırma işleminin ifade ve tüketici şikâyeti boyutunun bulunması. Özetleme tarafında ise ürün sayfasına çıkan metinler yalnızca yeterli sayıda yorumu olan ve güven eşiğini geçen sınıflamalardan üretiliyor.

Ölçüm düzeni#

• Sınıf bazlı hata dökümü; seyrek sınıflar toplam ortalamanın içinde saklanmıyor
• Değerlendirici uyumu düzenli yeniden hesaplanıyor ve modelin üst sınırı olarak raporlanıyor
• Olumsuzluk kalıpları için ayrı bir zor örnek kümesi tutuluyor
• "Diğer" sınıfının payı kayma göstergesi olarak izleniyor; büyümesi yeni konu açma sinyali
• Maskeleme denetimi: hattın girişinden geçen örneklemde kişisel veri kalıntısı ayrıca aranıyor

Devreye alma#

1. 1Kılavuz ve çift etiketleme

   Sınıf tanımları uyuşmazlık örnekleriyle yazıldı; iki etiketleyici aynı örneklemi bağımsız etiketledi ve tanımlar uyum kararlı hâle gelene kadar düzeltildi.

2. 2İç panoda kullanım

   İlk kullanım yalnızca kategori ekibinin iç panosuydu; müşteriye görünen hiçbir yüzeye dokunulmadı, hatalar düşük maliyetle toplandı.

3. 3İade nedenleriyle eşleme

   Konu etiketleri iade nedeni kodlarıyla karşılaştırıldı; tutarsızlıklar hem etiket şemasını hem iade kodlarının kullanımını düzeltti.

4. 4Sınırlı müşteri yüzeyi

   Ürün sayfasındaki konu özetleri yalnızca yeterli yorum hacmi ve güven eşiği olan kartlarda açıldı; diğerlerinde bölüm hiç gösterilmiyor.

Nerede yanıldık#

İlk yanılgı, sınıf listesini masa başında yazmaktı. Kategori ekibinin sezgisiyle kurulan liste sahadaki şikâyetlerin bir bölümünü hiç karşılamıyordu ve model, karşılığı olmayan yorumları en yakın sınıfa doldurarak tablonun yanlış görünmesine sebep oldu. İkinci yanılgı, altın kümeyi erken dondurmaktı: kılavuz hâlâ değişirken donan küme, sonraki düzeltmeleri gerileme gibi gösterdi. Üçüncüsü, yorum metnini "kamuya açık, o hâlde hassas değil" saymaktı; yorumun kendisi görünür olsa da içindeki sipariş ve iletişim bilgilerinin model günlüklerine taşınması ayrı bir işleme faaliyeti ve ayrı bir sorumluluktur.