Doğrulamayı üretimin kopyası olarak tasarlamak

Teori: ayrım bir varsayımdır#

Rastgele k-katlamalı doğrulama, satırların birbirinden bağımsız ve aynı dağılımdan geldiğini varsayar. Gerçek veri bu varsayımı çoğu zaman karşılamaz: aynı müşteriye ait onlarca kayıt vardır, kayıtlar zamana göre sıralıdır, aynı cihazdan ya da aynı şubeden gelen satırlar birbirine benzer. Bu bağımlılıklar rastgele bölmede eğitim ile doğrulama arasında köprü kurar; model ezberlediğini genelleme sanır.

Zaman boyutu iki ayrı sorun üretir. Birincisi bilgi yönü: geleceğe ait satırlarla eğitip geçmişi tahmin etmek üretimde asla olmayacak bir durumdur. İkincisi kayma: hedefin dağılımı ve değişkenlerin anlamı zamanla değişir. Zaman ayrımı ikisini birden ölçer; rastgele ayrım ikisini de gizler ve gerçekte olmayan bir kararlılık raporlar.

Üçüncü katman doğrulama kümesinin kendisinin aşınmasıdır. Aynı küme üzerinde çok sayıda ayar denendiğinde en iyi görünen ayar bir miktar gürültüye uymuş olur; raporlanan skor iyimserdir. Bu yüzden seçim yapılan küme ile son skorun okunduğu küme ayrılır: seçim doğrulama katlamalarında yapılır, tek seferlik okuma hiç dokunulmamış bir test diliminde yapılır.

Örnek: yapıya göre şema#

Zaman ayrımı ve boşluk#

Zaman ayrımında iki ayar belirleyicidir. Birincisi kayan başlangıç: eğitim penceresi ileri doğru kaydırılarak birden çok kat üretilir, çünkü tek bir kesme noktası o noktanın tesadüfi özelliklerine bağımlı bir sonuç verir. İkincisi boşluk: eğitim sonu ile doğrulama başlangıcı arasında, etiketin olgunlaşma süresi kadar bir aralık bırakılır. Etiket iki ay sonra kesinleşiyorsa eğitim penceresinin son iki ayı henüz güvenilir etiket taşımaz.

from datetime import timedelta


def kayan_baslangic_katlari(tarihler, kat_sayisi, dogrulama_gun, bosluk_gun):
    """Zaman sıralı veride eğitim/doğrulama indeks çiftleri üretir.

    tarihler: her satırın tahmin anı
    kat_sayisi: üretilecek katlama sayısı
    dogrulama_gun: her katın doğrulama penceresi uzunluğu
    bosluk_gun: etiketin olgunlaşma süresi kadar bırakılan aralık
    """
    # Üst sınır dışlayıcı olduğu için bir gün eklenir; aksi halde en son
    # tarihli kayıtlar hiçbir doğrulama penceresine düşmez.
    son = max(tarihler) + timedelta(days=1)
    pencere = timedelta(days=dogrulama_gun)
    bosluk = timedelta(days=bosluk_gun)

    for i in range(kat_sayisi, 0, -1):
        bitis = son - (i - 1) * pencere
        baslangic = bitis - pencere
        egitim_bitis = baslangic - bosluk
        egitim = [j for j, t in enumerate(tarihler) if t < egitim_bitis]
        dogrulama = [
            j for j, t in enumerate(tarihler) if baslangic <= t < bitis
        ]
        if egitim and dogrulama:
            yield egitim, dogrulama

Karar: şema nasıl kurulur#

1. 1Üretim durumunu yaz

   Model üretimde neyi ilk kez görüyor: yeni bir zaman dilimini mi, yeni bir müşteriyi mi, yeni bir şubeyi mi?

2. 2Ayrım eksenini seç

   Yeniliğin geldiği eksen ayrım eksenidir: zaman, grup ya da ikisi birden.

3. 3Boşluğu ve pencereyi belirle

   Etiketin olgunlaşma süresi kadar boşluk; iş döngüsünün en az bir turunu kapsayan uzunlukta doğrulama penceresi.

4. 4Seçim ve ölçüm kümelerini ayır

   Hiperparametre ve özellik seçimi katlamaların içinde kalsın; son okuma hiç dokunulmamış dilimde yapılsın.

5. 5Şemayı dondur

   Ayrımı bir kez yazıp sabitleyin; skor beklenenden düşük çıktığında ayrımı değil hipotezi değiştirin.

Sık yapılan hata#

En sık hata, doğrulama şemasını sonuca göre seçmektir. Zaman ayrımında skor düşük çıkınca rastgele katlamaya dönmek ölçümü değil yalnızca raporu düzeltir. İkinci hata, iç içe seçimi atlamaktır: hiperparametre araması doğrulama katlamalarında yapılıp aynı katlamaların en iyi skoru nihai sonuç olarak raporlandığında, raporlanan sayı seçim sürecinin iyimserliğini taşır. Üçüncüsü, ön işlemeyi ayrımdan önce çalıştırmaktır; doldurma ve ölçekleme istatistikleri her katlamada yeniden hesaplanmalıdır.

• Katlamalar arası skor farkı, modeller arası skor farkından büyük.
• Gruba göre katlamaya geçildiğinde skor belirgin biçimde düşüyor; rastgele bölme aynı varlığı iki tarafa dağıtıyordu.
• Yeni bir zaman dilimi eklendiğinde skor sistematik olarak düşüyor.
• Test dilimindeki skor, seçimin yapıldığı katlamaların ortalamasından sistematik olarak düşük.
• Ön işleme hattı ayrımdan önce tek seferde çalıştırılmış.