Veri sızıntısı olmadan eğitim, doğrulama ve test bölmek

Sızıntı tartışmalarının çoğu, herkesin farklı bir tahmin anı varsaymasından çıkıyor. Cümle şu biçimde yazılır: "Model, sipariş oluşturulduktan hemen sonra, ödeme sonucu henüz belli değilken çalışacak." Bu cümle yazıldığı anda veri sözlüğündeki alanların yarısı tartışma dışı kalır: tahmin anında henüz doldurulmamış bir alan, ne kadar güçlü bir sinyal verirse versin özellik olamaz.

Grup kimliği, aynı gerçek dünya varlığından gelen satırları birbirine bağlayan sütundur. Sağlıkta hasta, endüstride cihaz, destek verisinde müşteri, belge işlemede kaynak dosya. Bu sütun çıkarılmadan yapılan her bölme, satırların bağımsız olduğu varsayımına dayanır ve o varsayım çoğu kurumsal veri kümesinde yanlıştır.

• Kayıt kimliği: satırı tekil olarak belirler, tekilleştirme kontrolünde kullanılır.
• Grup kimliği: aynı varlıktan gelen satırları bağlar; yoksa neden olmadığı yazılır.
• Olay zaman damgası: satırın gerçekleştiği an — kayda geçtiği an değil.
• Katman anahtarı: sınıf etiketi veya bölmeler arasında dağılımı korunacak alan.
• Kaynak sistemi: aynı olayın iki sistemden iki kez gelmesi yakın kopya üretir.

Doğrulama adımı: grup başına satır sayısının dağılımına bakın. Ortalama birin belirgin üzerindeyse rastgele bölme baştan elenir. Tek bir grubun toplam satırların büyük bir bölümünü taşıdığı durumlarda ise bölme dengesizleşir; o grubun hangi bölmeye düştüğü sonucu tek başına oynatabilir.

Strateji seçimi bir tercih değil, bir çıkarım: tahmin anı ve grup yapısı yazıldıysa strateji zaten belirlenmiştir. Tartışma çıkıyorsa genellikle birinci veya ikinci adım eksik yapılmıştır.

Koşullar çoğu zaman birlikte gelir, ama gruba göre bölmeyi zaman temelli bölmeyle birleştirmeden önce hangi soruyu ölçtüğünüze karar verin. Model üretimde geçmişini zaten gördüğü müşterileri puanlayacaksa kesim tarihi yeterlidir ve o müşterilerin kesim öncesi satırları eğitimde kalır — üretimde de o geçmiş elinizde olacaktır. Model hiç görmediği müşterileri puanlayacaksa bölme hem zaman temelli hem gruba göre kurulur ve test bölmesine düşen müşterilerin kesim öncesi satırları da eğitimden çıkarılır. İkisini karıştırmak ölçümü kötümser ya da iyimser tarafa kaydırır. Katmanlı gruplu bölme de aynı mantıkla kurulur — katman korunur ama katman uğruna grup bölünmez.

Etiketin olgunlaşma süresi, olayın gerçekleşmesi ile etiketinin kesinleşmesi arasında geçen zamandır: iade penceresi, tahsilat vadesi, arıza teyidi. Kesim tarihine kadar olan tüm satırları eğitime koyduğunuzda, kesime yakın satırların etiketi veri toplandığı anda henüz kesinleşmemiş olabilir. Bu satırlar hem yanlış etiket taşır hem de test dönemiyle örtüşür.

import pandas as pd

# Kesim tarihleri ve bekleme süresi bu örnekte varsayımdır.
KESIM_DOGRULAMA = pd.Timestamp("2025-11-01")
KESIM_TEST = pd.Timestamp("2026-01-01")
BEKLEME = pd.Timedelta(days=30)  # etiketin olgunlaşma süresi

egitim = veri[veri.olay_zamani < KESIM_DOGRULAMA - BEKLEME]
dogrulama = veri[
    (veri.olay_zamani >= KESIM_DOGRULAMA) & (veri.olay_zamani < KESIM_TEST - BEKLEME)
]
test = veri[veri.olay_zamani >= KESIM_TEST]

# Her kesimin öncesindeki bekleme aralığı hiçbir bölmeye girmez: etiketi
# henüz kesinleşmemiş satırlar ne eğitime ne doğrulamaya alınır.
assert egitim.olay_zamani.max() < dogrulama.olay_zamani.min()
assert dogrulama.olay_zamani.max() < test.olay_zamani.min()

Kesim tarihi keyfî seçilmez. Test döneminin, modelin üretimde karşılaşacağı mevsimselliği ve en az bir tam iş çevrimini içermesi gerekir; yalnızca kampanya dönemine denk gelen bir test bölmesi, kampanya dışı davranış hakkında hiçbir şey söylemez. Aynı nedenle tek bir kesim yerine kayan pencereli birkaç kesim kurup sonuçların tutarlılığına bakmak daha güvenilirdir. Doğrulama bölmesi de zaman sırasına uyar: eğitim bölmesinden rastgele ayrılan bir doğrulama kümesi geleceği eğitime geri taşır ve zaman temelli bölmeden kazanılanı geri verir.

Grup sızıntısının etkisi, sızıntı türleri arasında en çok hafife alınanı. Aynı hastanın bir görüntüsü eğitimde, diğeri testteyse model hastalığı değil hastayı tanır; test skoru yüksek çıkar, yeni hastada düşer. Ölçüm ile üretim arasındaki bu fark, model değiştirerek kapatılamaz çünkü sorun modelde değil bölmede.

from sklearn.model_selection import GroupShuffleSplit

bolucu = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=0)
egitim_idx, test_idx = next(bolucu.split(X, y, groups=veri.hasta_kimligi))

egitim_gruplari = set(veri.hasta_kimligi.iloc[egitim_idx])
test_gruplari = set(veri.hasta_kimligi.iloc[test_idx])

# Bu doğrulama testlere konur; elle bir kez bakmak yetmez.
assert not (egitim_gruplari & test_gruplari), "grup sızıntısı"

Grup kimliği her zaman hazır gelmez. Metin kümelerinde aynı haberin farklı sitelerdeki sürümleri, görsel kümelerinde aynı sahnenin ardışık kareleri, destek kayıtlarında kopyalanmış şablon cevaplar farklı kimlik taşır ama aynı bilgiyi içerir. Bu durumda grup kimliği türetilir: yakın kopyalar kümelenir ve küme numarası grup olarak kullanılır.

Bu adımın kuralı tek cümlede özetlenir: bölmelerin dışında hiçbir istatistik hesaplanmaz. Kural basit ama ihlali kolay, çünkü keşif aşamasında tüm veri üzerinde hesaplanan bir ortalama, farkında olmadan modelleme koduna taşınıyor.

• Ölçekleme: ortalama ve standart sapma yalnızca eğitim bölmesinden.
• Eksik doldurma: medyan, mod veya tahmin modeli eğitim bölmesinden öğrenilir.
• Kategori kodlama: hedefe dayalı kodlama sızıntının en sık kaynağıdır; bölme içi çapraz kodlama gerekir.
• Özellik seçimi: tüm veride korelasyona bakıp sütun elemek de sızıntıdır.
• Aykırı değer eşiği: yüzdelikler eğitim bölmesinden hesaplanır.
• Örnekleme dengeleme: yalnızca eğitim bölmesine uygulanır, doğrulama ve test gerçek dağılımı korur.

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

hazirlik = ColumnTransformer([
    ("sayisal", Pipeline([
        ("doldur", SimpleImputer(strategy="median")),
        ("olcekle", StandardScaler()),
    ]), sayisal_sutunlar),
])

hat = Pipeline([("hazirlik", hazirlik), ("model", model)])
hat.fit(X_egitim, y_egitim)   # medyan ve ölçek yalnızca eğitimden öğrenilir
skor = hat.score(X_dogrulama, y_dogrulama)

Çapraz doğrulama, tek bölmenin rastlantısını azaltmak için kullanılır; sızıntıyı azaltmaz. Bölme kuralı neyse katlama kuralı da odur. Bu nokta gözden kaçtığında ekip, tek bölmede fark edilebilecek bir sızıntıyı ortalamanın altında gizlemiş olur.

Katlar arasındaki skor dağılımı da bir bilgi taşır. Katlar arasında geniş bir yayılım, modelin kararsız olduğunu veya katların birbirinden yapısal olarak farklı olduğunu gösterir; ortalamayı tek başına raporlamak bu bilgiyi siler. Kat başına skorları ve hangi katın hangi dönemi ya da kaynağı kapsadığını birlikte yazın.

Sızıntıyı kesin olarak gösteren tek bir test yok; birlikte görüldüğünde neredeyse hep sızıntıya çıkan belirtiler var. Ortak yanları şu: sonuç, alan uzmanının problemin zorluğu hakkındaki sezgisiyle çelişir. Bu yüzden ilk denetim aracı bir metrik değil, sonucun alan uzmanına gösterilmesidir.

Şüpheli bir alanı doğrulamanın en hızlı yolu onu çıkarıp modeli yeniden eğitmek. Skor sert biçimde düşüyorsa alan gerçekten taşıyıcıdır ve tahmin anında var olup olmadığı tek tek doğrulanmalıdır. İkinci yol hedefi karıştırmak: etiketler rastgele karıştırıldığında model hâlâ rastgeleden iyi sonuç veriyorsa, hat bir yerde etiket bilgisini girdiye taşıyor demektir.

Bölme, veri kümesinin bir özelliği değil deneyin bir parçasıdır; yeniden üretilemiyorsa karşılaştırma da yapılamaz. İki modelin skorunu karşılaştırmanın ön koşulu ikisinin aynı bölmede ölçülmüş olmasıdır ve bu, tohumu koda gömmekle değil bölmeyi kaydetmekle sağlanır.

1. 01Bölme stratejisini ve gerekçesini tek paragrafla yazın.
2. 02Zaman temelli bölmede kesim tarihini ve bekleme aralığını kaydedin.
3. 03Grup bölmesinde grup kimliği listelerini veya üretimi belirleyen tohumu saklayın.
4. 04Bölme başına satır ve sınıf sayılarını kaydedin; sonraki koşularda karşılaştırma için.
5. 05Test bölmesinin her açılışını tarih ve gerekçesiyle kaydedin.