LAB · DENEY
Gömme Modeli Karşılaştırması
Türkçe içerikte gömme modeli seçiminin geri getirme niteliğine etkisini sınamak için kurulmuş karşılaştırma düzeni. Boyut, dil kapsamı ve işletme maliyeti arasındaki ödünleşimi aynı dizin ve aynı sorgu kümesi üzerinde görünür kılar.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Gömme Modeli Karşılaştırması henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Soru#
Arama hattında gömme modeli, sonradan değiştirilmesi en pahalı bileşendir: değişiklik tüm dizinin yeniden üretilmesini gerektirir. Soru, Türkçe içerikte bu seçimin geri getirmede ne kadar fark yarattığıdır. Bununla birlikte ikinci bir soru sorulur: farkın büyüklüğü, daha büyük boyutun getirdiği dizin ve gecikme yükünü karşılıyor mu?
Düzen#
Aynı belge kümesi, aynı parçalama kuralıyla her model için ayrı ayrı dizinlenir; sorgu kümesi ve değerlendirme adımı ortaktır. Karşılaştırma tabanı iki yönlüdür: altta sözcük tabanlı bir arama, üstte ilgili parçanın doğrudan verildiği tavan koşulu. Tavan koşulu, geri getirmenin payına düşen kaybı hattın geri kalanından ayırmak için gereklidir.
- Veri: Türkçe ağırlıklı, terim yoğunluğu farklı üç belge ailesi — kavram metni, teknik belge, soru-cevap kaydı.
- Sorgu kümesi: doğal dille yazılmış sorular, kısa terim sorguları ve yazım hatası içeren varyantlar.
- Alt taban: sözcük tabanlı arama; üst taban: doğru parçanın elle verildiği koşul.
- Değişken: gömme modeli; her model için boyut ve dil kapsamı kaydedilir.
- Sabitler: parçalama kuralı, örtüşme, benzerlik ölçüsü, geri getirilen parça sayısı.
| Değişken | Alınan değerler | Neden bu değerler |
|---|---|---|
| Parça boyu | Kısa, orta, uzun olmak üzere üç kademe | Model boyutu ile parça boyunun etkileşmesi olasıdır; tek kademede yapılan ölçüm bu etkileşimi gizler |
| Sorgu türü | Doğal dil sorusu, terim sorgusu, yazım hatalı varyant | Modeller arasındaki farkın sorgu türüne göre değişmesi beklenir; tek türle ölçüm bunu kapatır |
| Dizin ayarı | Kesin arama ve yaklaşık komşuluk | Yaklaşık aramanın getirdiği kayıp model farkıyla karışmamalı |
| Dil karışımı | Türkçe cümle içinde İngilizce terim bulunan ve bulunmayan sorgular | Dil kapsamı farkının bu karışımda ortaya çıkması beklenir |
Ölçüt#
Geri getirme, üretim kalitesinden ayrı ölçülür; cevabın iyi yazılmış olması doğru parçanın bulunduğunu göstermez. Her sorgu için ilgili parçalar önceden işaretlenir ve ölçüm bu işaretlemeye göre yapılır. İşletme tarafı da aynı tabloda tutulur, çünkü seçim yalnızca isabetle değil taşınabilir maliyetle verilir.
| Ölçüt | Okunuşu | Gözden kaçırdığı |
|---|---|---|
| İlk k içinde kapsama | Doğru parçanın ilk k sonuç arasına girip girmediği | Sıralamadaki yeri önemsizleşir; ikinci ile onuncu aynı sayılır |
| Sıralama duyarlı skor | Doğru parçanın listede ne kadar yukarıda olduğu | Birden çok ilgili parça varken yalnızca en yukarıdaki isabeti yansıtır, kalanını gizler |
| Sorgu gecikmesi | Gömme üretimi ve dizin aramasının birlikte süresi | Ölçüm makinesine ve dizin ayarına bağlı; model farkı sanılabilir |
| Dizin ayak izi | Boyutun getirdiği depolama ve bellek yükü | Nicemleme uygulanınca sıralama değişebilir |
| Birim işletme maliyeti | Belge gömme ve sorgu gömme başına düşen ücret kalemi | Sağlayıcı fiyatları değişir; sayı burada değil ölçüm anında alınır |
Beklenen kırılma noktaları#
- Türkçenin ek yapısı nedeniyle aynı kökün farklı çekimlerinde benzerliğin zayıflaması beklenir; kırılmanın terim sorgularında belirginleşmesi beklenir.
- Kısaltma ile açık yazımın aynı şeyi gösterdiği sorgularda modellerin ayrışması beklenir.
- Kod parçası ya da tablo içeren belgelerde parçalama kuralının etkisi model etkisini gölgeleyebilir.
- Türkçe cümle içinde İngilizce teknik terim bulunduğunda, dil kapsamı dar modellerde düşüş beklenir.
- Uzun belgelerde ilgili bilginin parça sınırına denk gelmesi, modelden bağımsız bir kayıp kaynağıdır.
Sınırlılıklar#
Sonuç, kullanılan belge ailesine sıkı biçimde bağlıdır; başka bir alan yazınında sıralamanın korunacağı varsayılamaz. İlgililik işaretlemesi elle yapıldığı için işaretleyicinin yorumu ölçümün tabanına girer. Gecikme ve ayak izi ölçümleri de donanıma bağlıdır, bu yüzden mutlak değil ancak aynı koşulda karşılaştırmalı okunur.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.