Sızıntıyı veri toplanırken yakalamak

Teori: zaman oku#

Her kaydın iki zamanı vardır: olayın gerçekleştiği an ve o bilginin sisteme yazıldığı an. Veri ambarındaki bir satır çoğu zaman yalnızca son halini taşır; alanın ne zaman dolduğu kayıtlı değildir. Model bu satırı okurken geçmişe değil geleceğe bakmış olur. Sızıntının fiziksel kaynağı budur: sürüm saklamayan bir tabloda geçmiş ile şimdi birbirine karışır.

İkinci kaynak, etiketle nedensel olarak bağlı alanlardır. "İptal nedeni" kolonu iptal tahmininde kusursuz çalışır, çünkü ancak iptal gerçekleştikten sonra dolar. Bu alan yasak olduğu için değil, tahmin anında boş olduğu için kullanılamaz. Ayrım nettir: soru "bu kolon hedefle çok mu ilişkili" değil, "bu kolon tahmin anında dolu muydu" sorusudur.

Üçüncü kaynak örneklemedir: eğitim kümesi, üretimde karşılaşılacak evrenden farklı bir süzgeçten geçmişse model o süzgeci öğrenir. Yalnızca onaylanmış başvurularla eğitilen bir risk modeli, reddedilenlerin davranışını hiç görmez; üretimde ise bütün başvuruları puanlar. Bu sızıntı türü tek bir kolonda görünmez, bütün kümeye sinmiştir.

Örnek: türler ve belirtileri#

Karar: kolon denetimi#

1. 1Tahmin anını sabitle

   Birinci bölümde yazdığınız tahmin anını bütün kolon denetiminin referansı yapın.

2. 2Her kolona tek soru sor

   Bu alan, tahmin anında bu değere sahip miydi? Cevap "muhtemelen" ise alan şüphelidir.

3. 3Dolma anını bul

   Şüpheli alan için kaynak sistemde güncelleme zaman damgası ya da değişiklik günlüğü arayın.

4. 4Nokta-zamanlı birleştir

   Özelliği, tahmin anından önceki en son değeriyle birleştirin; sonraki güncellemeleri dışarıda bırakın.

5. 5Kanıtla ve kaydet

   Dışarıda bırakılan her alanı gerekçesiyle listeleyin; bu liste veri sözleşmesinin parçasıdır.

Nokta-zamanlı birleştirme#

-- Yanlış: olayı, müşterinin BUGÜNKÜ profiline bağlar.
select o.olay_id, o.etiket, m.risk_skoru
from olaylar o
join musteri_profili m on m.musteri_id = o.musteri_id;

-- Doğru: tahmin anından ÖNCEKİ en son profil sürümünü bağlar.
select o.olay_id, o.etiket, p.risk_skoru
from olaylar o
join lateral (
  select g.risk_skoru
  from musteri_profili_gecmisi g
  where g.musteri_id = o.musteri_id
    and g.gecerli_baslangic <= o.tahmin_ani
  order by g.gecerli_baslangic desc
  limit 1
) p on true;

Sık yapılan hata#

Yaygın yanılgı, sızıntıyı doğrulama kümesiyle yakalanabilir bir sorun sanmaktır. Sızıntı eğitim ve doğrulama kümesinin ikisinde de bulunur; çapraz doğrulama onu gizler, açığa çıkarmaz. Tek güvenilir teşhis, kolonun dolma anını kaynak sistemde doğrulamaktır. İkinci yanılgı, şüpheli kolonu silip geçmektir: alan gerçekten öngörücüyse, aynı bilginin tahmin anında elde olan bir vekilini aramak gerekir.

• Tek bir özellik çıkarıldığında skor dramatik biçimde çöküyor.
• Doğrulama skoru, alandaki uzmanın elle verdiği kararlardan belirgin biçimde iyi.
• Modelin en önemli özelliği, iş sürecinde etiketten sonra doldurulan bir alan.
• Geriye doğru gidildikçe skor düzenli olarak bozuluyor.
• Aynı kimliğe ait kayıtlar hem eğitimde hem doğrulamada bulunuyor.