Eğitimde yapay zekâ: geri bildirim tasarımı

Biçimlendirici geri bildirimin değeri taslak aşamasındadır: öğrencinin metni değiştirebileceği bir an varsa yorum işe yarar, teslim edilmiş ve notu verilmiş bir ödeve yazılan yorum arkeolojiye dönüşür. Bu yüzden kapsam belgesinin ilk satırı hangi ödev değil, hangi an sorusunu cevaplar.

Ayrım bir politika cümlesiyle değil, çıktı sözleşmesiyle kurulur. Yorumların yanında bir sayı göründüğü anda öğrenci metni değil sayıyı okur; öğretmen de kendi notunu o sayıya göre ayarlamaya başlar. Sonuçta kimsenin karar vermediği ama herkesin uyduğu bir not ortaya çıkar ve bu notun ne itiraz yolu ne sahibi vardır.

• Çıktı şemasında sayısal alan bulunmasın; şema yalnızca alanları kısıtlar, serbest metnin içine yazılan bir sayıyı engellemez — metin alanları ayrıca taranır.
• "Bu ödev iyi/orta/zayıf düzeyde" gibi düzey ifadeleri de yasak listesine girsin.
• Akran karşılaştırması ve sınıf içi sıralama üretilmesin; ölçüt tablosu tek referanstır.
• Öğretmenin verdiği not ayrı bir sistemde, geri bildirim kaydına bağlanmadan tutulsun.
• Geri bildirim kaydı silinse bile not kaydı etkilenmesin; bağımlılık yoksa ayrım gerçektir.

Kabul ölçütü bu adımda yazılır, hat ilk çıktılarını üretir üretmez uygulanır: alınan on çıktıda rakam, yüzde işareti ve düzey sıfatı aranır. Şema sayısal alanı zaten dışarıda bıraktığı için sızıntı ancak serbest metnin içinden gelebilir; bu yüzden düzeltilecek yer istem değil, çıktıyı öğrenciye göstermeden önce tarayan düşürme kuralıdır. İstemle kurulan yasaklar zamanla aşınıyor, kodla kurulan kural aşınmıyor.

Ölçüt tablosu bu hattın çıpasıdır. Çıpasız geri bildirim kaçınılmaz olarak genel övgüye kayıyor: "akıcı bir dil kullanmışsın", "biraz daha örnek ekleyebilirsin". Bu cümleler yanlış değil ama öğrenciye ne yapacağını söylemiyor ve öğretmene de denetlenecek bir şey bırakmıyor.

{
  "olcut_maddesi": {
    "kimlik": "arg-03",
    "ad": "İddianın kanıtla desteklenmesi",
    "gozlenebilir_olcut": "Her ana iddianın ardından kaynak gösterilmiş bir örnek veya veri geliyor mu?",
    "duzeyler": {
      "gelisiyor": "İddia var, kanıt yok",
      "yeterli": "İddiaların çoğunda kanıt var",
      "guclu": "Her iddiada kanıt var ve kanıtın sınırı belirtilmiş"
    }
  },
  "geri_bildirim": {
    "olcut_kimligi": "arg-03",
    "alinti": "Sanayi devrimi toplumu kökten değiştirdi.",
    "gerekce": "Bu cümle bir iddia; ardından hangi değişimi gösteren bir örnek geldiğini göremedim.",
    "sonraki_is": "Bu cümlenin altına değişimi gösteren tek bir somut örnek ekle."
  }
}

Doğrulama adımı: geçerli bir madde kimliği ve metinden birebir alıntı taşımayan yorumlar öğrenciye gösterilmeden düşürülsün. Düşürülen yorum oranı ölçülmeye değer bir sayıdır; yükseliyorsa sorun modelde değil, gözlenebilir yazılmamış ölçüt maddelerindedir.

Öğrenci ödevi sıradan bir metin değil: çoğu zaman çocuğa ait kişisel veri taşıyor ve öğrencinin kendi ailesi, sağlığı veya görüşleri hakkında beklenmedik ayrıntılar içerebiliyor. Bu yüzden karar sırası şudur: önce hangi alanın hatta girmesi gerektiğine bakılır, sonra nasıl korunacağına.

Sabit yapı üç şeyi birden çözüyor: yorumlar karşılaştırılabilir hâle geliyor, öğretmenin onay süresi kısalıyor ve öğrenci her yorumda ne yapacağını aynı yerde buluyor. Serbest biçimli geri bildirimde bu üçü de sınıftan sınıfa değişiyor.

1. 1Alıntı

   Yorumun dayandığı cümle öğrencinin kendi metninden birebir alınır; alıntı bulunamıyorsa yorum üretilmez.

2. 2Gerekçe

   Alıntının hangi ölçüt maddesinde neden eksik kaldığı yazılır; madde kimliği yoruma iliştirilir.

3. 3Sonraki iş

   Öğrencinin bir sonraki taslakta yapabileceği tek bir somut değişiklik yazılır; "geliştir" gibi sözler sayılmaz.

4. 4Belirsizlik

   Model emin değilse iddia yerine soru yazar: "Bu paragrafta hangi kaynağa dayandığını göremedim, ekleyebilir misin?"

• Öğrenciye değil metne yönelin: "dikkatsizsin" değil, "bu paragrafta kaynak görünmüyor".
• Akranla karşılaştırma yapmayın; ölçüt tablosu dışında referans yok.
• "Her zaman", "asla", "hiçbir zaman" gibi genellemeleri çıktı sözleşmesinde yasaklayın.
• Yorum sayısını sınırlayın; bu kurulumda taslak başına üç yorumla başlamak, öğrencinin hepsini uygulayabilmesi için makul bir başlangıçtır.
• Yazım ve noktalama düzeltmelerini ayrı bir katmana alın; ölçüt yorumlarıyla karışırsa ikisi de okunmuyor.

İnsan onayı, kötü tasarlandığında bir kalite kapısı değil bir imza töreni olur. Onayı anlamlı kılan şey öğretmenin ekranda gördüğü şeyin denetlenebilir olması: hangi yorum hangi ölçüt maddesine bağlı, alıntı doğru mu, öneri uygulanabilir mi.

Silinen ve düzenlenen yorum oranı, bu hattın en dürüst kalite göstergesidir: öğretmenin fiilen ne kadarını kullandığını gösterir. Oran belirli bir ölçüt maddesinde yoğunlaşıyorsa düzeltilecek yer istem değil, o maddenin tanımıdır.

İtiraz yolu bir nezaket değil, hattın düzeltme kanalıdır. Öğrencinin "bu yorum benim yazdığımla ilgili değil" diyebildiği bir yer yoksa, hatalı yorumlar sistemde birikir ve kimse fark etmez. Ayrıca kişisel verilerin korunması mevzuatı, kişiye münhasıran otomatik sistemlerle yapılan analiz sonucu aleyhine çıkan bir sonuca itiraz etme hakkı tanır; biçimlendirici bir yorumda bile bu hakkın karşılığı olan bir kanal bulunması işi sağlama alır.

1. 1İşaretleme

   Öğrenci yorumun yanındaki bağlantıdan gerekçesini tek cümleyle yazarak itiraz eder.

2. 2Yanıt

   İtirazı ödevin öğretmeni yanıtlar; bu kurulumda hedef süre olarak beş iş günü yazmak, dönem takvimiyle uyumlu bir başlangıçtır.

3. 3Kayıt

   Sonuç üç kategoriden biriyle kapanır: yorum geçerli, yorum hatalı, ölçüt maddesi belirsiz.

4. 4Geri besleme

   "Ölçüt maddesi belirsiz" ile kapanan itirazlar dönem sonunda zümreye gider ve tablo yeniden yazılır.

Ölçüler pilottan sonra yazılırsa, çıkan her sonuç başarı gibi anlatılabilir. Önceden yazılan üç sayı bu tartışmayı kapatıyor: öğretmenin ne kadarını düzenlediği, kaç itiraz geldiği ve öğrencinin ikinci taslakta yorumlanan yerlere gerçekten dokunup dokunmadığı.

1. 01Pilot öncesinde ölçüt tablosunu iki öğretmene bağımsız uygulatın; farklar hattın değil tablonun sorunudur.
2. 02Aynı ödev setine yapay zekâ destekli ve klasik geri bildirimi paralel uygulayıp karşılaştırın.
3. 03Öğretmen düzenleme ve silme oranını ölçüt maddesi kırılımında toplayın.
4. 04İtirazları sayı olarak değil kategori olarak raporlayın.
5. 05İkinci taslakta yorumlanan bölümlerde değişiklik olup olmadığını elle örnekleyerek kontrol edin.
6. 06Pilot sonunda yayına alma kararını yazılı gerekçeyle verin; gerekçe yazılamıyorsa pilot uzatılır.