LAB · AÇIK KAYNAK
Türkçe Metin Normalizasyon Kiti
Türkçe metni arama ve gömme hattına vermeden önce dengeleyen kit; harf katlaması, ek ayırma ve aksan işlemlerini tek tek açılıp kapatılabilen katmanlara böler. Amacı, normalizasyonun sessizce bilgi silmesini görünür kılmak.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Türkçe Metin Normalizasyon Kiti henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Ne çözüyor?#
İngilizce için yazılmış normalizasyon zincirleri Türkçede iki yerde bozulur. Birincisi harf katlaması: Türkçede doğru eşler i ile İ ve ı ile I iken, dilden bağımsız katlama I harfini i harfine indiriyor ve İ harfini noktası ayrı duran bir i dizisine çeviriyor; noktalı ve noktasız i ayrımı böylece kayboluyor. İkincisi aksan silme: anlamı yalnızca aksanla ayrılan sözcükleri aynı anahtara indiriyor. Kit bu işleri tek bir temizleme fonksiyonunda birleştirmek yerine sıralı ve tek tek denetlenebilir katmanlara ayırıyor. Her katman uyguladığı dönüşümü kayda yazdığı için bir eşleşme kaybının hangi adımda doğduğu geriye doğru izlenebiliyor.
Bileşenler#
| Katman | Ne yapar |
|---|---|
| Unicode düzleştirici | Birleşik ve ayrık gösterimleri tek biçime indirir; görünmez karakterleri ve sıfır genişlikli birleştiricileri ayıklar. |
| Harf katlayıcı | Büyük-küçük dönüşümünü Türkçe harf çiftlerini koruyarak yapar; noktalı ve noktasız i ayrımını kaybetmez. |
| Simge ayırıcı | Sayı, tarih, birim ve kod parçalarını sözcükten ayırır ve tür etiketiyle işaretler. |
| Ek çözücü | Sözcüğü gövde ve ek dizisine ayırır; çözüm belirsizse adayların tümünü yan yana bırakır. |
| Yazım eşlemesi | Kısaltma, yabancı yazım ve yaygın yazım sapmalarını tek hedef biçime bağlar. |
| Dönüşüm kaydı | Girdi ile çıktı arasındaki her adımı saklar; bir katman kapatıldığında farkı okunabilir kılar. |
Türkçeye özgü tuzaklar#
- Küçük harfe çevirme dilden bağımsız yapıldığında özel adlar iki ayrı anahtara dağılır ve arama ikisini birleştiremez.
- Aksan silme, anlamı yalnızca aksanla ayrılan sözcük çiftlerini aynı dizgede toplar; kazanılan esneklik burada bir ayrım kaybına dönüşür.
- Ek ayırma fazla ileri götürülürse gövdeye benzeyen kök parçaları üretir; indeks bunları ayrı terim sayar.
- Birleşik ve ayrı yazım arasında gezinen terimler tek biçime bağlanmazsa hem indeks hem sorgu tarafında bölünür.
- Kesme işaretinin ek ayırmada kullanımı tutarsız kalırsa özel ad ile ekin sınırı belirsizleşir.
- Gömme modeli kendi alt-sözcük bölütlemesini yaptığı için aşırı normalizasyon, modelin eğitimde gördüğü yazımdan uzaklaşmaya yol açar.
Kurulum akışı#
- 1Zinciri kapalı kur
Tüm katmanlar devre dışıyken metni geçirerek temel davranışı sabitle; bu koşu sonraki karşılaştırmaların tabanı olur.
- 2Katmanları tek tek aç
Her katmanı ayrı açıp dönüşüm kaydını gözden geçir; sözcüklerin hangi anahtara indiğini örnek üzerinden elle doğrula.
- 3İndeks ile sorguyu eşitle
Aynı yapılandırmayı iki tarafta da aynı zincir sürümüyle uygula ve sürümü indeks künyesine yaz.
Yapılandırmaya bırakılan kararlar#
| Karar | Seçenekler | Neye göre |
|---|---|---|
| Harf katlama kapsamı | Kapalı, Türkçe kurallı katlama, dilden bağımsız katlama | Metindeki özel ad ve kod parçası oranı |
| Aksan işlemi | Koru, yalnız sorgu tarafında esnet, indekste de sil | Kullanıcıların aksansız yazma alışkanlığı |
| Ek çözümleme derinliği | Yok, yalnız çekim ekleri, yapım ekleri de dahil | Zincirin arama mı sınıflandırma mı beslediği |
| Belirsiz çözümler | İlk adayı seç, tüm adayları indeksle, ayrı alanda tut | İndeks büyümesinin kabul edilebilir sınırı |
| Zincir sürümü | Serbest, indeks künyesine yazılı, değişiklikte yeniden indeksleme zorunlu | Yeniden indekslemenin maliyeti ve sıklığı |
Kapsam dışı#
Kit bir dil bilgisi çözümleyicisi ya da tam kapsamlı biçimbirim çözücü değil. Söz dizimi ayrıştırma, varlık tanıma, yazım düzeltme önerisi ve lehçe farkları kapsam dışında. Ek çözümlemesi de sözlük kapsamıyla sınırlı: sözlükte bulunmayan sözcükler gövde olarak geçirilir ve bu durum dönüşüm kaydında işaretlenir.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.