Model eğitimi için hızlandırıcı planlaması

Bağlam ve kısıtlar#

İş yükü tek tip değil: karot görüntülerinden alterasyon sınıflandırması, konveyör üzerindeki malzemenin parça boyutu dağılımını çıkaran görüntü modelleri, blok model üzerinde koşan jeoistatistik simülasyonlar ve sabit tesis ekipmanları için zaman serisi modelleri aynı kaynakları paylaşıyor. Bunların kaynak ihtiyacı birbirine hiç benzemiyor; simülasyon uzun ve bellek yoğun, görüntü eğitimi veri yoğun, geliştirme oturumları ise çoğu zaman kısa hesap ve uzun bekleme.

Kısıtların bir kısmı fiziksel: saha sunucu odasının gücü ve soğutması sınırlı, ortam tozlu, merkeze çıkan hat dar ve aktarım pencereleri vardiya düzenine göre planlanıyor. Bir kısmı hukuki: konveyör ve ocak kameraları personeli görüntülediği için bu kümeler kişisel veri taşıyor. Planlama kararı bu yüzden sadece kapasite değil, verinin nerede durabileceği sorusu.

Veri ve erişim#

Veri ağırlığı hesabın nerede yapılacağını belirledi: büyük görüntü kümeleri sahada doğuyor ve orada duruyor, sondaj ile blok model verisi merkezde sürümlü tutuluyor, zaman serileri ise sürekli akıyor. Eğitim işleri veri havuzuna yalnızca okuma yetkisiyle bağlandı; yazma yetkisi veri hattı hesabında kaldı ki bir eğitim işi kazara kaynak kümeyi değiştirmesin. Her işin hangi veri sürümüyle koştuğu iş kaydına yazıldı, çünkü kuyruk düzeni yeniden üretilebilirliği bozmamalıydı.

• Saha görüntüleri: karot fotoğrafları ve konveyör kamera kayıtları; hacim büyük, üretim yeri saha, bağlantı penceresi dar
• Sondaj ve blok model verisi: jeoloji veritabanı ve simülasyon çıktıları, merkezde ve sürümlü
• Ekipman zaman serileri: filo takip ve sabit tesis sensör kayıtları, yüksek çözünürlükte ve sürekli akan
• Etiket kümeleri: uzman etiketlemesi, sürümlü; eğitim işinin hangi sürümle koştuğu iş kaydında
• Kişisel veri: kamera kayıtlarında personel görüntüsü; maskeleme öncesi küme sahadan çıkmıyor
• Erişim: eğitim işleri salt okunur havuza bağlanıyor, yazma yetkisi yalnızca veri hattı hesabında

Mimari kararlar#

Kararların ortak mantığı şuydu: kapasite artırmadan önce mevcut kapasitenin neden boş kaldığını açıklamak. Bellek yetmediğinde ilk hamle daha büyük bellek değil, karma duyarlık ve etkinleştirme yeniden hesabı gibi yazılım tarafındaki seçenekler oldu; bunlar tükendiğinde satın alma tartışması ölçülmüş bir gerekçeyle açıldı.

Güvenlik ve yetki#

Hızlandırıcı planlaması beklenmedik biçimde bir uyum sorusu doğurdu: konveyör ve ocak kameraları personeli görüntülüyor, yani bu kümeler kişisel veri taşıyor. Maskeleme, kümenin şirket dışına çıkmasından önceki bir kapı olarak iş tanımına yazıldı; maskeleme adımı koşmadıysa iş kuyruğa kabul edilmiyor ve ret kaydı düşüyor. Yurt dışındaki bir işleme ortamında eğitim yapılacaksa aktarımın hukuki dayanağı ayrıca kayıt altına alındı ve bu karar veri ekibine değil uyum tarafına bırakıldı.

Ölçüm düzeni#

• İş başına kayıt: hızlandırıcı doluluğu, bellek tepe değeri, süre ve kuyrukta bekleme ayrı alanlarda
• Veri hattı beklemesi: hızlandırıcının veriyi beklediği süre ayrı ölçülüyor, doluluk tek gösterge sayılmıyor
• Kuyruk adaleti: sınıf başına bekleme dağılımı haftalık gözden geçirmede açılıyor
• Kontrol noktası denetimi: kesintili kapasitede koşan işlerin gerçekten kontrol noktası yazdığı sınanıyor
• Yeniden üretilebilirlik: her eğitim işi veri sürümü, kod sürümü ve yapılandırmayla birlikte kaydediliyor

Devreye alma ve işletme#

1. 1Ölçme dönemi

   Mevcut işler değiştirilmeden bellek, süre ve doluluk kaydı toplandı; darboğazın veri hattında olduğu burada görüldü.

2. 2Kuyruk politikası

   Sınıf başına kuyruk, bellek tavanı ve azami süre tanımlandı; geliştirme işleri bölünmüş kaynağa alındı.

3. 3Taşma yolu

   Kampanya yeniden eğitimleri için bulut taşması, kontrol noktası disiplini ve maskeleme kapısı zorunluluğuyla açıldı.

4. 4Haftalık gözden geçirme

   Kuyruk raporu, boşta geçen süre ve reddedilen işler ekiple birlikte okunuyor; politika bu toplantıda değişiyor.

Nerede yanıldık#

Başlangıçta kapasite hesabını iş sayısıyla yaptık ve mevcut düğümlerin yetmediğine karar vermiştik; profilleme sonrası hızlandırıcıların önemli bir bölümünün veri yükleme hattını beklediğini gördük, yani donanım almak darboğazı çözmeyecek, sadece daha pahalı biçimde bekletecekti. İkinci hata bellek tavanını işi gönderen kişinin bildirdiği değere bağlamaktı; bildirimler iyimserdi ve bir iş komşusunu düşürdüğünde kuyruğa duyulan güven de düştü, tavanı ölçülen tepe değerine taşıdık. Üçüncüsü bulut tarafındaydı: kesintiye uğrayabilen kapasiteyi ucuz sandık, kontrol noktası yazmayan işler kesildikçe aynı eğitimi baştan koşmak en pahalı seçenek oldu.