Yük tahmininde belirsizlik aralığının kararlara taşınması

Bağlam ve kısıtlar#

Vaka, serbest tüketici portföyü olan orta ölçekli bir tedarik şirketinin gün öncesi teklif hazırlığını ele alıyor. Karar penceresi kısa: ertesi güne ait saatlik eğri piyasa kapanışından önce netleşmek zorunda, sonradan düzeltme ancak dengeleme tarafında ve daha pahalı biçimde mümkün. Tahmin burada kendi başına bir ürün değil, tek bir kararın girdisi; bu yüzden başarı ölçütü model doğruluğu değil o kararın maliyeti olarak tanımlandı. İkinci kısıt kurumsaldı: teklifi onaylama yetkisi portföy yöneticisinden alınamıyor, dolayısıyla hattın çıktısı bir öneri olmak zorunda.

Veri ve erişim#

Veri üç ayrı yerde duruyordu ve üçünün sahibi farklıydı: tüketim ölçümleri sayaç okuma ve uzlaştırma tarafında, piyasa serileri kamuya açık şeffaflık yüzeyinde, hava verisi dış sağlayıcıda. Erişim sınırı da buna göre çizildi: abone kimliğine bağlı tüketim kaydına yalnızca veri ekibindeki iki rol erişiyor, portföy masası toplulaştırılmış seriyi görüyor. Bu ayrım hem kişisel veri hem de piyasa tarafı yetki düzeni için gerekliydi.

• Saatlik tüketim ölçümleri: sayaç okuma sisteminden gelen, uzlaştırma tarafında sonradan düzeltilebilen kayıtlar. Eğitim kümesi bu yüzden veri kesme tarihiyle etiketlendi.
• Piyasa serileri: gerçekleşen tüketim, üretim planları ve fiyat serileri gibi kamuya açık şeffaflık verisi.
• Hava tahmini: sıcaklık, ışınım, rüzgâr ve nem için tek bir güncel değer değil, yayım saatiyle birlikte saklanan koşular.
• Takvim ve rejim etiketleri: resmî tatiller, dinî bayramlar, okul dönemi ve yarıyıl tatili, köprü günleri.
• Portföy tarafı: sözleşme başlangıç ve bitişleri, abone grubu değişiklikleri. Portföyün kendisi değiştiğinde geçmiş yük serisi kendisiyle karşılaştırılabilir olmaktan çıkıyor.
• Erişim kaydı: toplulaştırılmış seriyi kim ne zaman çekti bilgisi, masa ile veri ekibi arasındaki sınırın denetlenebilmesi için tutuluyor.

Mimari kararlar#

Kararların çoğu doğruluk değil karar yapısı üzerine verildi. Tahminin biçimi, kalibrasyonun nerede yapılacağı ve eşiğin nasıl türetileceği birbirine bağlı üç karardı; biri değişince diğerleri de değişti. Tablo son hâli gösteriyor, gerekçe sütunu sapmanın nedenini taşıyor.

Güvenlik ve yetki#

İki ayrı yetki düzeni aynı hatta bakıyordu. Birincisi kişisel veri tarafı: abone seviyesindeki tüketim, gerçek kişiye bağlanabildiği ölçüde kişisel veri sayılıyor, dolayısıyla eğitim kümesine toplulaştırılmış hâlde giriyor ve abone kimlikleri takma adla ayrı bir eşleme tablosunda tutuluyor. İkincisi piyasa tarafı: tahmin çıktısını gören kişi listesi kayıt altında, çünkü bu bilgi ticari karar üretiyor ve masa ile veri ekibi arasındaki sınırın denetlenebilir olması gerekiyor. Dış hizmet alınan hava sağlayıcısına hiçbir tüketim verisi gitmiyor, akış tek yönlü.

Ölçüm düzeni#

Ölçüm iki katmana ayrıldı: tahminin kalitesi ve kararın kalitesi. İkisi ayrı raporlanıyor, çünkü aynı değişiklik birini iyileştirip diğerini kötüleştirebiliyor. Kapsama ve keskinlik hiçbir zaman ayrı okunmuyor; bandı genişletmek kapsamayı bedavaya sağladığı için tek başına kapsama yanıltıcı bir gösterge.

• Kuantil kaybı, her kuantil ve her ufuk grubu için ayrı; tek ortalamaya indirilmiyor.
• Kapsama ve keskinlik aynı tabloda: bant genişleterek alınan kapsama artışı görünür oluyor.
• Koşullu kapsama: rejim etiketine göre kırılım — tatil, bayram, aşırı sıcaklık, hafta sonu.
• Karar maliyeti: seçilen kuantille verilen teklifin gerçekleşenle karşılaştırılması, yani modelin değil kararın sınanması.
• Temel çizgi: mevsimsel benzer gün ve önceki model sürümünün aynı pencerede yeniden koşulması.
• Sızıntı denetimi: her eğitim koşusunda her özniteliğin teklif saatinde erişilebilir olup olmadığının otomatik kontrolü.

Devreye alma ve işletme#

1. 1Gölge koşu

   Yeni hat canlı teklifi etkilemeden, her gün mevcut süreçle aynı saatte çalıştırıldı; iki çıktı tek karşılaştırma tablosuna yazıldı.

2. 2Kısıtlı devreye alma

   Bant önce belirli abone grupları için üretildi; portföy masası eşiği elle geçersiz kılma hakkını korudu ve her geçersiz kılma gerekçesiyle kaydedildi.

3. 3Onay kapısı

   Teklif, kullanılan kuantil ve varsa elle düzeltme aynı kayıtta onaylanıyor; onaysız hiçbir teklif piyasaya gitmiyor.

4. 4Nöbet ve geri dönüş

   Hava koşusu veya sayaç akışı gecikirse hat temele düşüyor, nöbetçiye uyarı gidiyor, teklif notu bu durumu taşıyor.

5. 5Haftalık kalibrasyon gözden geçirmesi

   Kapsama kırılımları haftalık okunuyor; gerekirse düzeltme katmanı modele dokunmadan güncelleniyor.

Nerede yanıldık#

İlk sürümde ortalama kapsama hedefe oturmuştu ve bu yeterli sanıldı; oysa bant bayram günlerinde ve ilk sıcak dalgasında sistematik olarak dar, ara mevsimde gereksiz genişti — toplam doğru, koşullu yanlıştı. İkinci hata seçim ölçütünde yapıldı: sürekli olasılıksal skoru iyileştiren bir aday model seçildi, ancak aynı aday karar maliyetinde geriye gitti, çünkü iyileşme bandın orta kısmındaydı ve teklif kararı kuyruğa bakıyordu. Üçüncüsü davranışsaldı: aralık üretilip ekrana konduğunda kimse kullanmadı, ekip tek sayıya bakmaya devam etti; bant ancak yazılı bir eşikle karara bağlandığında iş akışına girdi. Son olarak eğitim kümesinde hava koşusunun yayım saati hesaba katılmadığı için hafif bir sızıntı vardı ve bu, laboratuvar sonuçlarını sahadan daha iyi gösteriyordu.