LAB · DENEY
Parçalama Stratejisi Karşılaştırması
Sabit uzunluk, başlık sınırı ve anlamsal parçalama aynı değerlendirme kümesinde nasıl karşılaştırılır? Geri getirme katmanını kuranlar için altın pasaj işaretlemesi, ölçütler ve stratejilerin hangi belge biçiminde zorlandığı.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Parçalama Stratejisi Karşılaştırması henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Soru#
Bir belge kümesini geri getirme için bölmenin tek doğru yolu yok; sabit uzunluk, başlık sınırı ve anlamsal bölme farklı şeyleri feda eder. Buradaki soru bir kazanan ilan etmek değil: hangi belge biçiminde hangi stratejinin zorlandığını görünür kılmak. Düzen bu yüzden stratejileri değil, stratejilerin belge biçimiyle etkileşimini ölçecek şekilde kurulur.
Düzen#
Değerlendirme kümesi parçalamadan önce kurulur: her soru için cevabın hangi kaynak pasajında geçtiği elle işaretlenir. Böylece bir parça, işaretli pasajı kapsayıp kapsamadığına göre doğru sayılabilir. Parçalama dışındaki her şey — gömme modeli, vektör indeksi, getirilen parça sayısı, üretim istemi — turlar arasında sabit tutulur.
- Veri: aynı korpusun üç biçimi; başlıklı teknik belge, düz akış metni ve tablo ağırlıklı belge.
- Karşılaştırma tabanı: örtüşmesiz sabit uzunluk parçalama, yani en yalın kurulum.
- Değişken 1: parçalama stratejisi; üç strateji aynı ortalama parça boyutuna ayarlanır.
- Değişken 2: örtüşme payı, ayrı bir tarama olarak sonradan eklenir.
- İşaretleme: her soru için en az bir altın pasaj; birden çok pasaj gerektiren sorular ayrı etiketlenir.
| Strateji | Sınırı nasıl belirler | Hangi belgede zorlanması beklenir |
|---|---|---|
| Sabit uzunluk | Sayaçla: belirlenen token sayısında keser | Başlıklı belgede bir bölümü ortasından böler |
| Başlık sınırı | Belgenin kendi başlık hiyerarşisini izler | Başlıksız uzun akış metninde tek dev parça üretir |
| Anlamsal bölme | Komşu cümleler arası benzerlik düştüğünde keser | Liste ve tablolarda sınırı rastgele yerden bulur |
Ölçüt#
Tek bir isabet sayısı yetmez: bir strateji altın pasajı getirirken yanına çok gürültü de getiriyorsa, üretim adımındaki maliyeti gizlenir. Bu yüzden getirme başarısı ile getirilen bağlamın temizliği ayrı ölçütlerle tutulur ve her zaman birlikte okunur.
| Ölçüt | Ne söyler | Tuzağı |
|---|---|---|
| Altın pasaj kapsama | İşaretli pasajın ilk k parça içinde gelip gelmediğini | k büyütülerek her strateji iyi gösterilebilir; k sabitlenmeli |
| Bağlam gürültü payı | Getirilen metnin ne kadarının soruyla ilgisiz olduğunu | Çok küçük parçalar bu ölçütü kolay kazanır, kapsamayı kaybeder |
| Cevap için gereken parça sayısı | Bilginin parçalar arasına dağılıp dağılmadığını | Çoklu pasaj gerektiren sorular ayrılmazsa ortalama yanıltır |
| Sınır ihlali oranı | Bir parçanın cümleyi veya tabloyu ortadan kesme sıklığını | Otomatik sayım biçimlendirmeye bağlı; elle denetim örneklemi gerekir |
Beklenen kırılma noktaları#
- Tablolar: satır ile başlık ayrı parçalara düştüğünde parçanın tek başına anlamsız kalması beklenir.
- Çapraz gönderme: "yukarıdaki koşul" gibi ifadeler parçadan koparıldığında bağlam kaybolur.
- Çok kısa belgeler: parça boyutu belge boyunu aştığında üç strateji aynı sonucu verir, ayrım kaybolur.
- Örtüşme payı: örtüşme arttıkça kapsamanın yükselmesi, indeks boyu ve tekrarlı parça sayısının birlikte büyümesi beklenir.
- Başlık hiyerarşisi tutarsız belgeler: başlık sınırı stratejisinin yanlış düzeyden bölmesi beklenir.
Sınırlılıklar#
Bu düzen geri getirme katmanını ölçer, cevap kalitesini ölçmez; aynı parçalarla farklı üretim istemleri farklı cevaplar verir. İşaretleme tek değerlendiriciyle yapıldığında altın pasaj seçimi öznelliğe açıktır ve ölçüt bu öznelliği taşır. Soru dağılımı da sonucu belirler: yalnızca tek pasajlı sorularla kurulmuş bir küme, bilginin dağınık olduğu durumları hiç sınamaz.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- Large Language ModelsChunkingBir belgeyi, aranabilir ve bağlama sığacak anlamlı birimlere bölme işlemidir; geri getirme kalitesini belirleyen ilk karardır.
- Large Language ModelsRetrieval-Augmented GenerationDil modelinin cevap üretmeden önce harici bilgi kaynaklarından ilgili bilgiyi getirip oluşturduğu bağlama eklediği yapay zekâ mimarisidir.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.