RAG Başlangıç Şablonu

Ne çözüyor?#

Tek belge ve tek arama çağrısı üzerine kurulan bir örnek, belge sayısı arttığında hangi halkanın koptuğunu göstermiyor. Şablon halkaları ayırıyor: alma, parçalama, gömme, arama, birleştirme ve cevaplama ayrı adımlar ve her adımın girdisi ile çıktısı diske yazılıyor. Kötü bir cevap görüldüğünde önce doğru parçanın bulunup bulunmadığına, sonra modelin onu kullanıp kullanmadığına bakılabiliyor.

Bileşenler#

• Alma katmanı — kaynak dosyaları okur, biçim dönüştürmesini yapar ve her belgeye değişmez bir kimlik verir.
• Parçalayıcı — metni başlık hiyerarşisini koruyarak böler; her parçaya belge kimliği ve belge içi konum bilgisi ekler.
• Gömme işi — parçaları toplu halde vektöre çevirir ve aynı parçayı yeniden gömmemek için içerik imzası tutar.
• Vektör deposu — yaklaşık komşu aramasını yapar, parça künyesini sonuçla birlikte döndürür.
• Sözcük indeksi — terim tabanlı aramayı yürütür; özel ad, kısaltma ve kod parçası gibi gömmenin zayıf kaldığı sorguları yakalar.
• Birleştirici ve cevaplayıcı — iki arama sonucunu tek sıraya indirir, bağlamı kurar ve cevabın yanına kullanılan parça kimliklerini iliştirir.

Kurulum akışı#

1. 1Belgeleri kimliklendir

   Kaynak dosyaları içeri al ve her belgeye değişmez bir kimlik ile sürüm ver; sonraki tüm referanslar bu kimliğe dayanır.

2. 2Parçalama kararını yaz

   Parça uzunluğunu ve sınır kuralını yapılandırmaya yaz, ardından örnek belgelerde parça sınırlarını gözle denetle.

3. 3İki indeksi birlikte kur

   Vektör ve terim indekslerini aynı parça kümesinden üret; iki tarafın parça kimlikleri birebir örtüşsün.

4. 4Birleştirmeyi ayrı adım yap

   Sıra birleşimini cevaplama koduna gömmek yerine bağımsız bir adım olarak tut; ağırlıklar yapılandırmadan gelsin.

5. 5Ara çıktıları sakla

   Her adımın girdisini ve çıktısını diske yaz; kötü cevap incelemesi bu dosyalardan başlar, canlı sorgunun yeniden denenmesinden değil.

Yapılandırmaya bırakılan kararlar#

Referans zinciri nasıl kurulur#

Şablonun cevap sözleşmesi, cevabın hangi parçalara dayandığını taşımasını gerektiriyor. Model çıktısı serbest metin olsa bile birleştirici, cevapla birlikte kullanılan parça kimliklerini ayrı bir alanda döndürüyor ve arayüz bunları cevabın altına yazıyor. Referans listesi boş kaldığında cevap yayımlanmıyor; yerine kaynak bulunamadı durumu gösteriliyor.

• Her parça, belge kimliği ve belge içi konumla birlikte saklanır.
• Modele verilen parçaların kimlikleri cevap metninden ayrı bir alanda tutulur.
• Arayüz referansı parçanın kendisine değil, belgenin ilgili bölümüne bağlar.
• Referans alanı boşsa cevap yerine eksik kaynak uyarısı gösterilir.

Kapsam dışı#

Kurulum bir üretim arama altyapısının yerini almıyor. Ölçeklenme, çok kiracılı izolasyon, artımlı indeks güncellemesinin eşzamanlılığı ve erişim denetimi şablonun dışında bırakıldı. Belge düzeyinde yetkilendirme özellikle dikkat isteyen bir konu: şablon bunu bir uzantı noktası olarak işaretliyor, hazır bir çözüm sunmuyor.