Dayanıklılık: başarımın düştüğü koşulları bulmak

Teori: neden ortalama yanıltır#

Bir dilimdeki hata, o dilimin kümedeki payıyla çarpılarak ortalamaya girer. Kullanıcıların küçük bir bölümünü etkileyen ama onlar için sistemi tümüyle çalışmaz kılan bir koşul, ortalamayı yalnızca küçük ölçüde bozar ve gözden kaçar. Raporun birimi bu yüzden ortalama değil, en kötü dilim ile o dilimin payı olmalıdır. İyileştirme kararı da aynı çiftle verilir: ne kadar kötü ve kaç kişiyi ilgilendiriyor.

Dilimleri yorumlanabilir kılan şey, tek değişkenin değiştirilip diğerlerinin sabit tutulmasıdır. Aynı cümleyi hem gürültülü hem hızlı hem farklı mikrofonla kaydederseniz, düşüşü hangi değişkenin ürettiğini söyleyemezsiniz; elinizde yalnızca 'kötü koşulda kötü' gibi bir bilgi kalır. Bir taban küme kurup — sessiz ortam, normal tempo, tek mikrofon — her değişkeni ayrı ayrı bozmak, karşılaştırmayı bir sebebe bağlanabilir hâle getirir.

Gürültünün kendisi de tek bir şey değildir. Kararlı geniş bantlı gürültü (klima, motor) çözümleyiciyi öznitelik düzeyinde zorlar. Araya giren ikinci konuşma daha zararlıdır, çünkü rastgele gürültüden farklı olarak modelin dil beklentisine uyan sahte kanıt üretir; sonuç silinen kelime değil, söylenmemiş kelimedir. Yankı ve kırpma üçüncü bir sınıftır: sinyali bozar, üstüne gürültü eklemez — bu yüzden kayıt seviyesini yükseltmek çözüm değildir, kırpmayı daha da artırır; kazancı düşürmek, mikrofon mesafesini ve odanın akustiğini düzeltmek gerekir.

Uygulamada: değişkenler ve belirtileri#

Boşluktan doğan metin#

Konuşma yoksa çıktı da boş olmalıdır; ama çözümleyiciler sessizliğe ve gürültüye metin uydurabilir. Mekanizma şudur: çözümleyici her girdi penceresi için en olası metin dizisini üretir ve 'hiçbir şey' seçeneği bu dizilerle aynı ölçekte yarışmaz. Dil modeli bileşeni de eğitim verisinde sık geçen kalıpları — kapanış cümleleri, yinelenen ifadeler — zayıf kanıtla üretmeye yatkındır. Bu yüzden ayıklama tek bir işarete değil, birkaç zayıf işaretin birlikteliğine dayandırılır.

def uydurma_suphesi(parca, esik) -> bool:
    """Zayıf işaretleri birleştirir; hiçbiri tek başına karar vermez.

    eşik değerleri kendi sessiz kayıtlarınızda kalibre edilir,
    sabit yazılmaz.
    """
    konusma_orani = parca.konusma_suresi / max(parca.toplam_sure, 1e-6)
    kelime_hizi = len(parca.metin.split()) / max(parca.konusma_suresi, 1e-6)

    isaretler = [
        # etkinlik tespiti neredeyse hiç konuşma görmedi ama metin geldi
        konusma_orani < esik.konusma_orani and parca.metin.strip() != "",
        # çok kısa konuşmadan çok kelime çıktı
        kelime_hizi > esik.kelime_hizi,
        # aynı ifade art arda yineleniyor
        parca.yinelenen_ifade_sayisi >= esik.yineleme,
        # çözümleyici kendi güvenini düşük bildirdi
        parca.ortalama_guven < esik.guven,
    ]
    return sum(isaretler) >= esik.isaret_sayisi

Karar: hangi halkaya müdahale#

1. 1En kötü dilimi yaz

   Dilimli raporda en yüksek hata oranına sahip koşulu ve o koşulun kullanıcı payını birlikte kaydet.

2. 2Ara çıktıyı yan yana koy

   Aynı kaydın etkinlik tespiti işaretlerini, kısmi metnini ve nihai metnini karşılaştır.

3. 3Hata türüne bak

   Silmeler baskınsa kesim, eklemeler baskınsa ayıklama, yerine koymalar baskınsa yakalama ve sözlük.

4. 4En ucuz halkadan başla

   Kazanç ve eşik ayarı, terim listesi, ayıklama kuralı; model değiştirmek son adımdır.

5. 5Taban kümede de yeniden ölç

   Düzeltmeyi yalnızca hedef dilimde değil taban kümede de ölç; bir dilimi düzeltirken başkasını bozup bozmadığını gör.

Sık yapılan hata#

En sık hata, dayanıklılığı ince ayarla çözülecek bir konu sanmak. İnce ayar davranış öğretir — biçim, terim tercihi, alan sözlüğü — ama kaydın taşımadığı bilgiyi geri getirmez. Mikrofon kırpıyorsa veya üst bant kanal tarafından atılmışsa, hiçbir ince ayar o bilgiyi geri koyamaz; çözüm yakalama tarafındadır. İkinci sık hata, düzeltmeyi yalnızca sorunlu dilimde ölçmek: terim listesine eklenen kelimeler o dilimi iyileştirirken benzer sesli başka kelimeleri taban kümede bozabilir ve bu bozulma ölçülmediği için fark edilmez.