Öneri modelinin çevrimdışı ve çevrimiçi ölçümü

Bağlam ve kısıtlar#

Perakendede öneri şeritleri tek bir modelin çıktısı gibi konuşulur ama aslında farklı işler yaparlar: sepet tamamlama, ikame ürün gösterme ve keşif birbirinden ayrı görevlerdir. Hepsi tek bir isabet metriğiyle ölçüldüğünde, bir görevde iyileşen sürüm diğerinde kaybettiği hâlde ortalamada kazanmış görünüyordu. Yayına alma kararları da bu ortalamaya bakılarak veriliyordu.

İkinci kısıt takvimdi. Perakende trafiği kampanya dönemleri, okul açılışı ve indirim haftalarıyla sert biçimde dalgalanır; bir sürüm bu dönemlerin içine denk geldiğinde etkisi mevsimsellikten ayrıştırılamıyordu. Kalıcı bir kontrol grubu bu yüzden bir deney aracı değil, işletmenin sürekli ölçüm altyapısı olarak tasarlandı.

Veri, kesimler ve erişim#

Eğitim verisi sipariş yönetimi sistemindeki tamamlanmış siparişler, sepet olayları ve gösterim kayıtlarından oluşuyordu. Gösterim kayıtları başta yoktu; yalnızca tıklamalar toplanıyordu, bu da "gösterildi ama tıklanmadı" bilgisini imkânsız kılıyordu. Hattın ilk işi model kurmak değil, gösterim kaydına konum ve bağlam alanlarını eklemek oldu; bu olmadan yapılacak her ölçüm eski yerleşimin izini taşıyacaktı.

• Eğitime giren olaylar: sipariş satırları, sepete ekleme, ürün görüntüleme, iade kayıtları
• Zorunlu hâle getirilen alanlar: şerit kimliği, şeridin sayfadaki yeri, öğenin sıra numarası, şerit sürümü
• Kesim tanımı: kullanıcı düzeyinde sabit ve kalıcı; oturum düzeyinde kesim, aynı kullanıcının iki farklı deneyimi görmesine yol açtığı için bırakıldı
• Üye olmayan trafik: sözde adlandırılmış oturum anahtarıyla ele alınıyor, üyelikle birleştirme yalnızca oturum açıldığında ve rıza durumuna göre yapılıyor
• Erişim: ham olay verisi veri mühendisliği rolünde, öneri ekibi toplulaştırılmış ve sözde adlandırılmış görünümlerle çalışıyor

Mimari ve ölçüm kararları#

Kararların ağırlığı model ailesinde değil, deney ve değerlendirme düzeninde toplandı. Bir öneri sisteminde yanlış ölçüm, yanlış modelden daha pahalıdır: yanlış model bir sürümü kaybettirir, yanlış ölçüm yıllarca yanlış yöne gitmeye sebep olur. Bu yüzden her karar "bu seçimle bir bozulmayı nasıl görürüz" sorusuyla sınandı.

Kişisel veri ve profilleme sınırı#

Kişiselleştirme, hukuki dayanağı en çok tartışılan alan oldu. Sepet tamamlama gibi sözleşmenin ifasına yakın duran kullanımlar ile pazarlama amaçlı profilleme aynı torbaya konmadı; rıza durumu öneri hattına bir girdi olarak taşındı ve rızası olmayan kullanıcıya kişisel geçmişe dayanmayan şerit gösterildi. Kullanıcı hesabını sildiğinde yalnızca ham olaylar değil, o kullanıcıdan türetilmiş profil vektörleri ve önbellekler de silinecek biçimde kuruldu; türev veriyi unutmak, silme talebinin en sık atlanan parçası.

Ölçüm düzeni#

• Görev bazlı çevrimdışı kümeler; her biri zaman eksenli bölmeyle ve popülerlik temel çizgisiyle birlikte koşuluyor
• Kalıcı kontrol grubu: şeridin kendi katkısı sürekli izleniyor, tek seferlik deney olarak değil
• Koruma metrikleri: katalog kapsaması, yeni ürün payı, iade oranı, şerit dışı gezinmeye etki
• Konum yanlılığı düzeltmesi uygulanmış ve uygulanmamış okumalar yan yana tutuluyor
• Çevrimdışı ile canlı sonucun ayrışması ayrı bir uyarı olarak izleniyor; ayrışma modelin değil ölçümün sorunu olabiliyor

Devreye alma ve işletme#

1. 1Kayıt şemasının düzeltilmesi

   Gösterim kayıtlarına konum, sıra ve şerit sürümü eklendi; yeni model çalışmasına bu alanlar birikmeye başlayana kadar girilmedi.

2. 2Kontrol grubunun ayrılması

   Kalıcı kesim tanımlandı ve kural tabanlı statik şeride bağlandı; kesimin kalıcılığı kullanıcı düzeyinde sabitlendi.

3. 3Tek görevde deney

   İlk canlı deney yalnızca ürün sayfasındaki "benzerleri" şeridinde açıldı; karar kuralı ve süre deney başlamadan yazıldı.

4. 4Defterin işletmeye devri

   Her deney hipotez, kesim, süre ve karar kaydıyla deftere yazılıyor; okumaya süre dolmadan bakmak süreç düzeyinde kapatıldı.

Nerede yanıldık#

En pahalı yanılgı, ölçüm altyapısını model çalışmasının yanında ilerletilebilir bir iş sanmaktı. Gösterim kayıtları eksikken toplanan aylarca veri sonradan kullanılamadı; konum bilgisi olmayan tıklamalardan yanlılık düzeltmesi yapmanın yolu yok. İkinci yanılgı, kontrol grubunu "gelir kaybı" olarak görüp küçültmek yönündeki baskıya erken teslim olmaktı; kesim daraldıkça mevsimsel dalgalanma sinyali bastırdı ve grup neredeyse işe yaramaz hâle geldi. Kalıcı kontrol grubunu bir maliyet kalemi değil ölçüm aracı olarak savunmak, teknik değil kurumsal bir işti.