Değerlendirme Hattı Şablonu

Ne çözüyor?#

İstem değişikliği elle birkaç örnekte denenip yayına alındığında, karar sonradan tartışmaya açıldığında neyle karşılaştırıldığı geriye doğru kurulamıyor. Şablon bu boşluğu koşuyu tekrarlanabilir bir işe dönüştürerek kapatıyor: veri kümesi sürümlü bir dosyada, ölçütler ayrı fonksiyonlarda, sonuç ise silinmeyen bir kayıtta duruyor. Kayıt tutmanın karşılığı şu: aynı veri kümesinde hangi örneklerin yön değiştirdiği, sürümler arasında tek tek okunabiliyor.

Bileşenler#

Kayıt şeması#

{
  "kosuKimligi": "<metin>",
  "istemSurumu": "<metin>",
  "modelKimligi": "<metin>",
  "veriKumesiSurumu": "<metin>",
  "baslangicZamani": "<zaman damgası>",
  "olcutler": { "<ölçüt adı>": "<sayı>" },
  "ornekler": [
    {
      "girdiKimligi": "<metin>",
      "cikti": "<metin>",
      "olcutler": { "<ölçüt adı>": "<sayı>" },
      "hata": "<yok | aktarim | bicim>"
    }
  ],
  "esikSonucu": "<gecti | durdu>"
}

Kurulum akışı#

1. 1Veri kümesini sabitle

   Girdi ve beklenen çıktı çiftlerini tek dosyaya al, dosyaya sürüm ver ve koşu kaydında bu sürümü referansla.

2. 2Ölçütleri ayrı ayrı tanımla

   Her ölçütü bağımsız bir fonksiyon olarak yaz; ölçütler birbirini çağırmasın, böylece biri değiştiğinde diğerlerinin sonucu kaymasın.

3. 3Tabanı kaydet ve sabitle

   Yayındaki sürümü olduğu gibi koşturup kaydı taban olarak yaz; model, sağlayıcı veya veri kümesi sürümü değiştiğinde taban yeniden alınır, çünkü eski kayıt artık aynı koşulları temsil etmiyor.

4. 4Eşiği karar noktasına bağla

   Eşik dosyasını birleştirme veya yayına alma adımına bağla; sınır aşıldığında ne olacağı kodda değil yapılandırmada tanımlansın.

Yapılandırmaya bırakılan kararlar#

Kapsam dışı#

Şablonun kapsamı bilinçli olarak ince: ekip içi tekrarlanabilirlik için gereken en küçük iskeletten fazlasını amaçlamıyor. Etiketleme arayüzü, insan değerlendirici yönetimi, ölçüt geliştirme rehberi ve çok kiracılı yetkilendirme dışarıda bırakıldı. Hangi ölçütün belirli bir ürün için doğru ölçüt olduğu da kararı ekibe ait bir konu; şablon yalnızca seçilen ölçütün tutarlı biçimde koşturulmasını ve kaydedilmesini üstleniyor.