Soru bankasında madde kalitesi denetimi

Bağlam ve kısıtlar#

Ekip, hem basılı hem çevrimiçi denemelerde kullanılan bir madde bankası işletiyor. Maddeler kazanım koduyla etiketli, yazarları dışarıdan ve farklı yıllardan. Yayın takvimi sabit olduğu için denetim her zaman en sıkıştırılabilir adım olmuş; kalite sorunu bu yüzden bir bilgi eksikliği değil, bir kapasite ve tutarlılık sorunuydu. İki kısıt hattın biçimini belirledi. Yayına girmemiş madde metni sızdığında geri dönüşü olmadığı için dış işleyiciye ne gönderildiği ayrı bir tasarım konusu oldu; bir maddenin bankadan çıkarılması da kazanım kapsamını etkilediğinden o karar mutlaka insanda kalmak zorundaydı.

Madde verisi ve erişim#

Madde kaydı kök, seçenekler, anahtar, çözüm ve kazanım kodunu tek belgede tutuyor; sürüm geçmişi ayrı. Uygulanmış oturumların istatistikleri maddeye bağlanıyor ama öğrenci düzeyinde hiçbir veri denetim hattına açılmıyor, yalnızca kimliksiz toplulaştırılmış seçenek dağılımı geliyor. Yazar bilgisi telif ve ücret süreçleri için gerekli olduğundan kayıtta var, denetim arayüzünde görünmüyor.

• Madde kaydı: kök, seçenekler, anahtar, çözüm ve kazanım kodu; sürümler ayrı tutuluyor
• Uygulama istatistiği: oturum bazında güçlük, ayırt edicilik ve seçenek dağılımı maddeye bağlı
• Öğrenci cevapları: kimliksiz toplulaştırılmış dağılım olarak; öğrenci düzeyi veri hatta girmiyor
• Yazar bilgisi: kayıtta var, denetim arayüzünde gizli
• Yayın durumu: taslak, incelemede, yayında ve arşiv; canlı oturuma girecek maddeler ayrı yetkiyle görünüyor

Mimari kararlar#

Hattın tasarımındaki asıl karar, yargıcı bir hakem değil bir kontrol listesi yürütücüsü olarak tanımlamaktı. Bileşik bir kalite puanı üretildiğinde puanın hangi denetim maddesinden geldiği görünmüyor ve puan değiştiğinde nedeni açıklanamıyor. Bulguları parçalayınca hem kalibrasyon mümkün oldu hem de yanlış pozitif yükü bulgu türüne göre ayrılabildi.

{
  "denetimMaddesi": "anahtar-tutarliligi",
  "bulgu": "var",
  "alinti": "maddenin kökünden ya da seçeneğinden birebir alınmış metin",
  "gerekce": "bağımsız çözüm ile anahtarın ayrıştığı nokta",
  "kazanim": "maddenin etiketli kazanım kodu",
  "guven": "orta",
  "istemSurumu": "denetim-anahtar-r7"
}

Sınav güvenliği ve yetki#

Yargıç kalibrasyonu ve ölçüm#

Kalibrasyon kümesi, uzmanların bağımsız olarak iki kez etiketlediği ve uyuşmazlıkların tartışılarak kapatıldığı sabit bir madde grubu. İstem her değiştiğinde bu küme baştan koşuyor; amaç iyi bir sonuç göstermek değil, kaymanın yönünü görmek. Bir sürüm hatalı anahtarları daha iyi yakalarken kök kurgusu bulgularında gevşiyorsa bu takas açıkça yazılıyor.

• Kalibrasyon uyumu: sabit uzman kümesinde bulgu bazında uyum ve uyuşmazlık türü
• Yanlış pozitif yükü: editörün reddettiği bulguların denetim maddesine göre dağılımı
• Yanlış negatif izi: bulgusuz havuzdan çekilen örneklerin uzman okuması
• İtiraz eşleşmesi: yayın sonrası itirazın hangi denetim maddesine karşılık geldiği geriye dönük etiketleniyor
• Yayın sonrası sinyal: yüksek başarı diliminin çeldirici tercihi maddeye ilişkin bulgu olarak kayda geçiyor

Devreye alma ve işletme#

1. 1Kontrol listesinin yazıya dökülmesi

   Editörlerin akıldan uyguladığı denetimler tek tek maddeleştirildi; bu adım bitmeden hiçbir model çağrısı yazılmadı.

2. 2Geriye dönük koşum

   Hat, itirazı kabul edilmiş eski maddeler üzerinde koşuldu; hangi denetim maddesinin bu hataları yakaladığı böyle görüldü.

3. 3Gölge denetim

   Yeni maddeler hem iki editörle hem hatla denetlendi; hattın bulgusu editör kararını etkilemesin diye karar verilene kadar kapalı tutuldu.

4. 4İnceleme kuyruğunun açılması

   Bulgular editör arayüzünde alıntısıyla göründü; kuyruk sırası bulgu sayısına göre değil yayın takvimine göre dizildi.

5. 5Sürüm yönetimi

   İstem her değiştiğinde kalibrasyon kümesi yeniden koştu; kayma açıklanamıyorsa sürüm yayına alınmadı.

Nerede yanıldık#

İlk sürümde cevap anahtarını yargıca bağlam olarak verdik; model anahtarı doğru kabul edip ona gerekçe ürettiği için hatalı anahtar bulgusu hiç gelmedi ve bunu ancak geriye dönük koşumda fark ettik. Bileşik kalite puanı beklediğimizin tersini yaptı: editörler tek bir sayıya güvenmedi, güvenmedikleri için de kuyruğu hiç okumadı. Kuyruğu bulgu sayısına göre sıralamak ise fark etmeden yazarları damgalayan bir liste üretti; aynı mantığın devamı olan, bulguları yazar bazında toplulaştıran ekran talebi de madde kalitesini değil yazarı ölçtüğü için reddedildi. En uzun süren yanılgı tanım tarafındaydı: iki savunulabilir cevap ölçütünü daraltmadığımız sürece yargıç neredeyse her çeldiriciyi savunulabilir buldu ve bu bulgu türü kazanım ile okuma düzeyine bağlanana kadar kullanılamadı.