Sesten metne tanıma hattını kurmak ve ölçmek

Teori: hattın halkaları#

Mikrofon sesi analog bir elektrik sinyaline çevirir; dönüştürücü bu sinyali sabit aralıklarla örnekler. Örnekleme hızı, temsil edilebilen en yüksek frekansı belirler: örnekleme hızının yarısının üstündeki frekanslar geri katlanır ve sinyale gürültü olarak karışır. İnsan konuşmasının ayırt edici bilgisinin büyük kısmı düşük frekanslarda yoğunlaştığı için telefon kalitesindeki bir kayıt bile anlaşılır kalır; ama /s/ ve /ş/ gibi sürtünmelilerin ayrımı üst bantta taşınır, kanal orayı kestiğinde karışıklık başlar.

Çözümleyici ses dalgasını doğrudan okumaz; kısa pencerelere böler ve her pencereden bir öznitelik vektörü çıkarır. Pencere uzunluğu bir ödünleşimdir: kısa pencere zamanda keskin ama frekansta bulanıktır, uzun pencere tersi. Sonraki katman bu vektör dizisini karakter veya alt-kelime birimlerine çevirir; yani çıktı doğrudan kelime değildir, kelime sonradan birleştirilir. Hatalar bu yüzden kelime düzeyinde değil bu alt birimlerde doğar ve birleştirme sırasında tam kelimeye yayılır.

Konuşma etkinliği tespiti hattın en ucuz ama en belirleyici halkasıdır: konuşma olan aralıkları işaretler, sessizliği atar. İki yönlü bir riski vardır. Eşik yüksekse kelime başları ve sonları kesilir, çözümleyici eksik sinyalle çalışır; eşik düşükse gürültü konuşma sanılır ve çözümleyiciye boşluk gönderilir. İkinci durum yalnızca işlem israfı değil, boşluktan metin üretilmesinin de başlıca kaynağıdır.

Uygulamada: halka halka karşılıklar#

Kelime hata oranı#

Kelime hata oranı, çözümlenen metni referans metne hizalayıp üç hata türünü sayar: yerine koyma, silme ve ekleme. Toplam hata sayısı referanstaki kelime sayısına bölünür. Tanım gereği üst sınırı yoktur; model çok fazla kelime uydurursa oran birin üstüne çıkar. Tek bir sayı olarak okumak yanıltıcıdır: silmeler yığılıyorsa etkinlik tespiti erken kesiyor, eklemeler yığılıyorsa sessizlik metne dönüşüyor, yerine koymalar yığılıyorsa sorun yakalama veya sözlük tarafında. Aşağıdaki hesap toplam hatayı verir; türlere ayırmak için matris geriye doğru izlenir.

def kelime_hata_orani(referans: str, cikti: str) -> dict:
    """Hizalama matrisi kurar; toplam hata sayısını ve oranı döndürür.

    Türlere ayırmak için d matrisi son hücreden geriye izlenir:
    köşegen adım yerine koyma, yukarı adım silme, sola adım eklemedir.
    """
    r = referans.split()
    c = cikti.split()
    d = [[0] * (len(c) + 1) for _ in range(len(r) + 1)]
    for i in range(len(r) + 1):
        d[i][0] = i          # tüm referans kelimeleri silinmiş
    for j in range(len(c) + 1):
        d[0][j] = j          # tüm çıktı kelimeleri eklenmiş
    for i in range(1, len(r) + 1):
        for j in range(1, len(c) + 1):
            if r[i - 1] == c[j - 1]:
                d[i][j] = d[i - 1][j - 1]
            else:
                d[i][j] = 1 + min(
                    d[i - 1][j - 1],  # yerine koyma
                    d[i - 1][j],      # silme
                    d[i][j - 1],      # ekleme
                )
    hata = d[len(r)][len(c)]
    return {"hata": hata, "referans_kelime": len(r), "oran": hata / max(len(r), 1)}

Karar: toplu mu akışlı mı#

1. 1Bütçeyi yaz

   Kullanıcı ilk geri bildirimi ne kadar sürede görmeli? Bu sayı yoksa karar verilemez, yalnızca tercih edilir.

2. 2Girdi uzunluğunu ölç

   Tek cümlelik komutlar toplu çözümlemeyle de akıcı hissedilir; dakikalarca süren konuşma akış gerektirir.

3. 3Kısmi sonucun işe yarayıp yaramadığını sor

   Ekranda canlı metin gösterilecekse veya devir kararı kısmi metne bakacaksa akış zorunlu; yalnızca nihai metin kullanılacaksa değil.

4. 4Düzeltme maliyetini hesapla

   Akışta kısmi çıktı sonradan değişir. Arayüz ve aşağı akış mantığı geri alınan kelimeleri kaldırabiliyor mu?

5. 5Ara çıktıyı sakla

   Hangi yol seçilirse seçilsin ses, kısmi metin ve nihai metin birlikte saklanır; ölçüm ancak böyle yeniden koşturulabilir.

Sık yapılan hata#

En sık görülen yanılgı, tanıma kalitesini tek bir ortalama kelime hata oranıyla özetlemek. Ortalama, en çok konuşan kişinin ve en sık kullanılan ortamın ağırlığını taşır; azınlıkta kalan koşul — hoparlörden konuşma, arka planda ikinci bir ses, güçlü aksan — ortalamada erir. İkinci yanılgı, referans metni çözümleyici çıktısını düzelterek yazmak. Bu, modelin kendi tercihlerini referansa taşır ve ölçümü sistematik olarak iyimser hâle getirir.