Ödeve biçimlendirici geri bildirim üretimi

Bağlam ve kısıtlar#

Kurum, birkaç kampüste aynı öğretim programını uygulayan bir özel okul grubu. Yazılı ödevler öğrenme yönetim sistemi üzerinden toplanıyor ve zümrenin ortak yazdığı bir dereceli puanlama anahtarıyla değerlendiriliyor. Rubrik zaten yazılı olduğu için değerlendirme ölçütleri kurumda ortak bir dil olarak vardı; eksik olan şey bu dilin öğrenciye dönen metne yansımasıydı.

Üç kısıt baştan belliydi. Öğrenciler reşit olmadığı için veri işleme velinin bilgilendirilmesi ve rızası üzerinden yürüyor. Nihai not, itiraz yolu olan bir idari karar olduğu için modelin kararına bırakılamıyor. Üçüncüsü daha sessiz bir kısıttı: geri bildirimin öğretmenin okumasını temsil etmesi gerekiyordu, aksi halde zümre içinde kabul görmeyeceği ilk toplantıda söylendi.

Veri ve erişim#

Ödev metinleri öğrenme yönetim sisteminde, kimlik bilgileri ayrı bir tabloda duruyor. Model çağrısına yalnızca ödev metni ve ilgili rubrik gidiyor; öğrenci kimliği yerine ödev kimliği taşınıyor ve eşleme kurumun kendi tarafında yapılıyor. Öğretmen yetkisi kendi dersinin şubeleriyle sınırlı; başka şubenin taslağı arayüzde hiç görünmüyor.

• Ödev metni ve rubrik: model çağrısına giden tek içerik, öğrenci kimliği olmadan
• Kimlik eşlemesi: kurum içinde kalan ayrı tabloda; dış çağrıya hiç girmiyor
• Öğretmen erişimi: yalnızca kendi dersinin şubeleri, ölçüt bazlı onay yetkisiyle
• Rehberlik ve sağlık kayıtları: kurumda var, bu hattın erişimine hiç açılmadı
• Saklama: onaylanmayan taslaklar dönem sonunda düşüyor, onaylanan geri bildirim öğrenci kaydında kalıyor

Mimari kararlar#

Kararların çoğu modelin yeteneğiyle değil, kararın kimde kalacağıyla ilgiliydi. Hattın her aşamasında sorduğumuz soru şuydu: bu çıktı yanlışsa kim düzeltecek ve düzeltmek için elinde ne olacak. Ölçüt bazlı çıktı biçimi de, alıntı zorunluluğu da bu sorunun cevabından çıktı.

Güvenlik ve yetki#

Öğrenci ödevi ilk bakışta zararsız bir metin gibi görünür; oysa kompozisyon çoğu zaman ailesi, sağlığı ve ev ortamıyla ilgili ayrıntı taşır. Bu yüzden takma adlandırma alan temizliğinden ibaret bırakılmadı, metin içi tanıtıcı ifadeler için ayrı bir süzme adımı eklendi. İşleyicinin hangi bölgede işlem yaptığı ve kayıtları ne kadar tuttuğu sözleşmeyle sabitlenmeden hat açılmadı.

Ölçüm düzeni#

• Ölçüt eşleşmesi: üretilen gözlemin rubrikte hangi ölçütü karşıladığı iki okuyucuyla denetleniyor
• Alıntı doğruluğu: taslaktaki her alıntının öğrenci metninde bulunup bulunmadığı otomatik kontrol ediliyor
• Öğretmen düzenlemesi: onaydan önce nelerin silindiği ve eklendiği ölçüt bazında kayda geçiyor
• Dil düzeyi: geri bildirimin sınıf düzeyine uygunluğu sabit bir örnek kümede gözden geçiriliyor
• Sürüm karşılaştırması: istem değiştiğinde altın küme ödevleri yeniden koşuluyor ve eski çıktıyla yan yana okunuyor

Devreye alma ve işletme#

1. 1Tek ders, tek rubrik

   Hat ilk olarak tek kademede tek ödev türünde açıldı; rubrik ölçütleri zaten yazılı olduğu için karşılaştırma yapılabilecek tek yer burasıydı.

2. 2Gölge dönem

   Taslaklar üretildi ama öğrenciye hiç gösterilmedi; öğretmenler yalnızca okuyup işaretledi ve ölçüt kaymalarının çoğu bu dönemde toplandı.

3. 3Onay kapısının açılması

   Ölçüt bazlı onay arayüzü devreye alındıktan sonra geri bildirim öğrenci tarafına açıldı; onaysız hiçbir metin öğrenciye geçmiyor.

4. 4Kademe genişletmesi

   Yeni kademe eklenirken istem değil rubrik değişti; aynı hattın farklı rubrikle koşabilmesi ilk sürümde şart olarak konulmuştu.

5. 5Dönemsel gözden geçirme

   Dönem sonunda örneklenen geri bildirimler zümrede okunuyor; ölçüt tanımı değiştiyse altın küme yenileniyor.

Nerede yanıldık#

Takma adlandırmayı alan temizliği sanmak ilk hatamızdı; gölge dönemde okuduğumuz kompozisyonların önemli bir bölümü ilk paragrafında öğrencinin adını ve sınıfını içeriyordu. İkinci hata onay tasarımındaydı: taslağı tek düğmeyle onaylatınca kontrol adımı hızla biçimsel hale geldi ve öğretmenler kendilerinin de fark etmediği bir güvenle taslağı geçirmeye başladı. Üçüncüsü dil kararıydı; modelin öğretmen ağzından yazması sıcak bir metin üretiyordu ama öğretmenler kendi kalemleri gibi görünen bir metni onaylamaktan rahatsız oldu, bu yüzden taslak dili tarafsız bir gözlem diline çevrildi. Son olarak ölçüt sayısı kadar gözlem üretmek fikrinden vazgeçtik: her ölçüt için ayrı madde taşıyan uzun bir liste öğrencide hiçbir davranışa dönüşmüyordu.