Suistimal uyarılarının önceliklendirilmesinde model destekli triyaj

Bağlam ve kısıtlar#

İşlem izleme, senaryo tabanlı bir kural motorunun ürettiği uyarıların bir analist ekibi tarafından incelenmesi üzerine kuruludur. Kuralların eşikleri geniş tutulur çünkü kaçırmanın maliyeti yanlış uyarının maliyetinden yüksektir; sonuç, kapasitenin üzerinde bir kuyruk ve sürekli devreden bir bakiyedir. Bu vakada değiştirilmek istenen kuralların hassasiyeti değil, kuyruğun hangi sırayla açıldığıydı; ekip, modelin uyarı sayısını azaltmasını değil doğru uyarıyı öne çekmesini istiyordu.

Veri ve erişim#

Veri üç kaynaktan geldi: kural motorunun uyarı kayıtları, işlem ve hesap tarafındaki davranış geçmişi, inceleme sisteminin kapanış kodları. En kırılgan kaynak kapanış kodlarıydı; hem gecikmeli oluşuyor hem de yalnız incelenmiş uyarılar için var. Özellik kümesi kurulurken müşteri demografisi ve ona yakın vekil değişkenler bilinçli olarak dışarıda bırakıldı.

• Davranış sapması: hesabın kendi geçmiş profiline göre tutar, saat ve sıklık kayması
• Karşı taraf yeniliği: alıcının bu hesap için ilk kez görünmesi ve karşı tarafın ağ içindeki geçmişi
• Kanal ve cihaz sinyalleri: cihaz değişimi, oturum yaşı, kanal geçişi
• Hesap yaşı ve son değişiklik olayları: iletişim bilgisi ya da limit güncellemesinin işleme yakınlığı
• Uyarının kendi bağlamı: tetikleyen senaryo, aynı hesapta yakın zamandaki diğer uyarılar
• Dışarıda bırakılanlar: demografi, coğrafi köken ve bunlara yakın vekil değişkenler

Mimari kararlar#

Bu problemde modelin doğruluğu tek başına bir şey ifade etmiyor; anlamlı olan sabit bir inceleme kapasitesi altında kuyruğun başına ne konduğu. Kararlar da bu kısıta göre verildi: değerlendirme metriği, veri bölme yöntemi ve skorun nasıl sunulacağı hep sabit kapasite varsayımından türedi.

Güvenlik ve yetki#

Skorlama hattı inceleme sisteminin içinde, aynı yetki sınırları altında çalışıyor; analist zaten göremediği bir hesabın skorunu da göremiyor. Model eğitim ortamına giden veri müşteri kimliğinden arındırılmış takma kimliklerle taşınıyor ve eğitim kümesinin saklama süresi inceleme kayıtlarından bağımsız tanımlandı. Uyarı kaydına skorun yanı sıra model sürümü ve kural sürümü yazılıyor; bir kararın hangi koşullar altında verildiği sonradan yeniden kurulabiliyor.

Ölçüm düzeni#

Ölçümün en zor tarafı etiketin gecikmesiydi: bugün açılan bir uyarının sonucu haftalar sonra kesinleşiyor. Bu yüzden değerlendirme penceresi etiketin olgunlaşma süresi kadar geriye kaydırıldı ve taze dönem yalnız kayma izlemesi için kullanıldı.

• Baştaki dilimde yakalama, ekip kapasitesine eşit bir kesme noktasıyla raporlanıyor
• Kaçırma paneli: alt dilimde kalan uyarılardan rastgele bir örneklem yine elle inceleniyor
• Özellik dağılımı kayması ve skor dağılımı kayması ayrı izleniyor; ikisi farklı sebeplere işaret ediyor
• Kural sürümü değişiklikleri izleme panosunda olay işareti olarak görünüyor
• Analist kararının sıralamayla uyumu, analist ve ekip kırılımında bakılıyor; tek bir ortalama ekip içi farkı gizliyor
• Etiket gecikmesinin kendisi bir metrik: olgunlaşma süresi uzarsa değerlendirme penceresi de kayıyor

Devreye alma ve işletme#

1. 1Gizli skor

   Skor üretiliyor ve kayda yazılıyor ama kuyruk sırasını değiştirmiyor; geriye dönük olarak sıralamanın ne getireceği hesaplanıyor.

2. 2Yan yana kuyruk

   Ekibin bir bölümü skor sıralı kuyrukta, bir bölümü geliş sırasında çalışıyor; karşılaştırma aynı dönem içinde ve aynı senaryo karışımında yapılıyor.

3. 3Kademeli açılım

   Sıralama tüm kuyruğa açılıyor, düşük skorlu uyarılar için bekleme süresi üst sınırı tanımlanıyor; hiçbir uyarı sıraya girmeden süresiz bekleyemiyor.

4. 4Yeniden eğitim kapısı

   Yeniden eğitim takvime değil tetikleyiciye bağlı: kayma eşiği, kural sürümü değişikliği veya kaçırma panelinde bulgu. Her yeni sürüm aynı geriye dönük değerlendirmeden ve model kartı güncellemesinden geçiyor.

Nerede yanıldık#

İlk model rastgele bölmeyle eğitildi ve sonuçlar fazla iyi göründü. Nedeni basitti: bir suistimal girişimi tek uyarı üretmiyor, aynı hesapta ve aynı karşı tarafta birbirine çok benzeyen bir uyarı kümesi üretiyor; rastgele bölme bu kümenin bir kısmını eğitime bir kısmını teste koyduğu için model aslında ezberlediğini ölçüyordu. Olay bazlı gruplamaya geçildiğinde ölçüm sertleşti ama gerçeğe yaklaştı. Asıl sürpriz işletme tarafından geldi: kural motorunda bir senaryonun eşiği değiştirildiğinde girdi dağılımı bir gecede kaydı, model kalitesi düştü ve nedeni günlerce model tarafında arandı. Kural sürümünü izleme panosuna bir olay işareti olarak eklemek, bu tür düşüşlerin teşhis süresini kısaltan en küçük değişiklik oldu.