Görme-dil-eylem modelini değerlendirmek

Fiziksel değerlendirme pahalıdır: her deneme sahne kurulumu, insan gözetimi ve donanım aşınması demektir. Bu yüzden ilk soru 'neyi ölçelim' değil, 'hangi kararı vereceğiz' olmalıdır. Karar yazılmadan kurulan bir ölçüm hattı, sonunda kimsenin ne yapacağını bilemediği bir tablo üretir ve tartışma, sayıların yorumuna kayar.

Eşiği ölçümden önce yazmanın ikinci bir faydası var: sonuç geldikten sonra eşik tartışması yapılmasını engeller. Yazılı eşik, kötü bir sonucun 'aslında beklentimiz buydu' diye yeniden çerçevelenmesini zorlaştırır. Eşiği değiştirmek elbette mümkündür; ama değişiklik gerekçesiyle birlikte kaydedilir.

Manipülasyonda 'başarılı' kelimesi göründüğünden daha belirsizdir. Nesne kaba girdi ama kenarına dayandı; bardak taşındı ama devrildi; kapak kapandı ama tam oturmadı. Bu durumların hangisinin başarı sayıldığı denemeden önce yazılmazsa, etiketleme kararı sonuçtan etkilenir ve iki sürümün karşılaştırması anlamını yitirir.

• Başlangıç durumu: nesnelerin konumu, robotun duruşu, sahnedeki dikkat dağıtıcılar.
• Komut: verilecek dil ifadesinin tam metni ve hangi dilde verildiği.
• Süre sınırı: denemenin başarısız sayılacağı üst süre.
• Başarı ölçütü: gözlemlenebilir bir son durum tanımı; 'düzgün yerleştirdi' değil, 'nesne hedef alanın içinde ve devrilmemiş'.
• Erken sonlandırma koşulları: hangi durumda deneme kesilir ve nasıl etiketlenir.

Fiziksel değerlendirmede en sık göz ardı edilen gürültü kaynağı, modelin kendisi değil sahnenin yeniden kurulmasıdır. Nesne birkaç santimetre kayarsa, ışık farklı düşerse veya masa üzerindeki dikkat dağıtıcılar yer değiştirirse deneme gerçekte farklı bir görevdir. Kurulum belirsizliği, politikalar arasındaki gerçek farkın üstünü örtecek kadar büyük olabilir.

1. 01Sahneyi şablon, işaretli konum veya fikstürle kurun; 'göz kararı aynı yere' bir yordam değildir.
2. 02Konum ve açı için açık tolerans yazın; tolerans dışına çıkan kurulum tekrarlanır.
3. 03Her denemenin başlangıç karesini kaydedin; sonradan kurulum hatası aramak ancak böyle mümkün olur.
4. 04Kurulumcular arası farkı ölçün: aynı sahneyi iki kişi kursun, başlangıç kareleri karşılaştırılsın.
5. 05Kurulum sırasını döndürün; tüm kolay sahneleri sabah, zorları akşam koşturmak yorgunluk etkisini sonuca yazar.

Aynı disiplin sıraya da uygulanır. Denemeleri hep aynı sırayla koşturmak, donanım ısınması ve tutucu aşınması gibi yavaş değişen etkileri belirli görevlere sabitler. Görev sırasını karıştırın ve karıştırma düzenini kaydedin; kaydedilmemiş bir rastgelelik, tekrar edilemez bir deney demektir.

Genelleme tek bir yetenek değil, birbirinden bağımsız eksenlerin toplamıdır. Bir politika yeni nesneye iyi genelleyip yeni cümleye hiç genellemeyebilir; tersi de olur. Eksenleri birlikte değiştiren bir test tek bir sayı üretir ve bu sayı, hangi tarafın kırıldığını söylemediği için bir sonraki işi belirleyemez.

Fiziksel denemenin maliyeti, hücre başına deneme sayısını tasarımın en kısıtlayıcı parametresi yapar. Burada işe yarayan tek kural aritmetiktir: N denemede tek bir denemenin ağırlığı 1/N'dir, dolayısıyla ölçüm bu adımın altındaki farkları görmez. Kaç deneme gerektiğini belirleyen şey de bu yüzden bütçe değil, ayırt etmek istediğiniz farktır.

İkili etiket, fiziksel görevlerde bilginin çoğunu atar. İki politika aynı başarı oranını verebilir; biri hiç takılmadan, diğeri her denemede iki kez düşürüp toparlayarak. Operasyon açısından bunlar aynı sistem değildir. Dereceli etiketleme, aynı denemelerden çok daha fazla bilgi çıkarmanın ucuz yoludur.

• Tam başarı: görev, müdahale ve kurtarma olmadan, süre sınırı içinde tamamlandı.
• Kurtarmayla başarı: politika hatayı kendi fark edip düzeltti; kaç kez düzelttiği ayrıca sayılır.
• Müdahaleyle başarı: bir insan dokundu, düzeltti veya yeniden konumlandırdı; bu deneme tam başarı sayılmaz.
• Kısmi başarı: alt hedeflerden bir kısmı tamamlandı; hangi alt hedefte durduğu kaydedilir.
• Başarısızlık: süre doldu veya görev geri dönülemez biçimde bozuldu.
• Geçersiz deneme: kurulum toleransı dışında başladı ya da donanım arızalandı; oranın dışında tutulur ve sayısı raporlanır.

Geçersiz denemeleri sessizce atmak, ölçümün en kolay bozulma yoludur. Atılan her deneme nedeniyle birlikte kaydedilmeli ve rapor 'kaç deneme koşuldu, kaçı değerlendirmeye girdi' sorusunu cevaplamalıdır. Atılma oranı yükseliyorsa sorun genellikle donanımda ya da sıfırlama yordamındadır.

Başarı ile güvenlik farklı türden büyüklüklerdir ve aynı ortalamaya girmemelidir. Başarı oranı bir beklenti ifade eder; güvenlik ihlali ise nadir ama kabul edilemez bir olaydır. İkisini tek skorda topladığınızda yüksek başarı, ihlalleri matematiksel olarak örter ve karar mekanizması en riskli politikayı en iyi politika diye seçebilir.

• Çalışma sınırı ihlali: kol izinli hacmin dışına çıktı veya yasak bölgeye girdi.
• Beklenmeyen temas: insan, çevre ekipmanı ya da sahne dışı bir nesneyle temas.
• Kontrolsüz düşürme: taşınan nesnenin izlenmeyen bir noktaya bırakılması.
• Durdurma tetikleme: korumalı ya da acil durdurmanın devreye girmesi.
• Operatörün güvenlik amaçlı müdahalesi: görevi tamamlamak için değil, zararı önlemek için yapılan müdahale.

Başarı oranı bir durum bildirir, başarısızlık sınıflandırması ise yön verir. Aynı oran, tamamen farklı iki iş planı gerektirebilir: algı kaynaklı başarısızlıklar veri ve kamera yerleşimi işidir, kontrol kaynaklı olanlar tutucu ve düşük seviyeli denetleyici işidir. Sınıflandırma, videoyu izleyen bir insan tarafından yapılır ve etiket şüpheliyse 'belirsiz' sınıfı kullanılır.

Ayrım yapmakta zorlandığınızda kontrollü bir deney kurun: aynı sahnede komutu yeniden ifade edin, sonra hedefi dille değil doğrudan konumla verin. İlkinde düzeliyorsa sorun dil eşlemesinde, ikincisinde düzeliyorsa kontrol tarafındadır. İkisinde de düzelmiyorsa algıya bakın.

Simülasyon değerlendirmenin düşmanı değil, ilk filtresidir: açıkça çalışmayan adayları ucuza eler ve tehlikeli denemeleri fiziksel donanıma taşımadan yapmanızı sağlar. Yanlış olan, simülasyon skorunu saha vaadi gibi sunmaktır. Temas dinamiği, sürtünme, sensör gürültüsü ve zamanlama sapmaları yaklaşık modellenir; bu farkın sıralamayı koruyup korumadığı varsayılamaz, ölçülür.

1. 01Aynı görev protokolünü iki ortamda da uygulayın; ölçütler ve süre sınırı aynı kalsın.
2. 02En az üç aday politikayı iki ortamda da koşturun; tek adayla sıralama karşılaştırılamaz.
3. 03Sıralamanın korunup korunmadığına bakın; mutlak farktan çok sıra bilgisi taşınabilir bir bilgidir.
4. 04Sıralama bozuluyorsa hangi görev ailesinde bozulduğunu not edin; genellikle temas yoğun görevlerde ayrışır.
5. 05Simülasyon sonucunu yalnızca eleme için kullanın; yayın kararını fiziksel denemeye bağlayın.