Geri getirme hattını adımlara ayırmak
RAG hattını sorgudan cevaba kadar altı adıma ayırır; her adımın kendi hata biçimini, kendi ölçüm noktasını ve kötü cevabın hangi halkadan geldiğini bulma sırasını gösterir.
BU DERSİN SONUNDA
- Bir geri getirme hattını sorgudan cevaba altı ayrı adıma ayırmak
- Kötü bir cevabın hangi adımda üretildiğini ayırt etmek
- Vektör deposunun sorumluluğu ile modelin sorumluluğunu ayırmak
- Her adıma hangi ölçüm noktasının açılacağına karar vermek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Geri getirmeli üretim tek bir kutu değil, birbirine bağlı adımlardan oluşan bir hattır: sorgu hazırlama, aday getirme, süzme, sıralama, bağlam derleme ve son adımda üretimle kaynak eşleme. Cevap kötü geldiğinde "model kötü" demek neredeyse her zaman yanlış teşhistir; hata çoğunlukla modelin önündeki adımlardan birinde oluşur ve orada ölçülmediği için görünmez.
Teori: hat bir zincirdir#
Hattın her adımı kendinden önceki adımın çıktısını girdi alır, bu yüzden hatalar birikir. Sorgu yanlış genişletildiyse aday kümesi baştan bozuk gelir; aday kümesi bozuksa yeniden sıralama yalnızca yanlışların arasından en iyisini seçer. Zincirin sonunda duran model, kendisine hiç verilmemiş bir belgeyi telafi edemez.
Adımları ayrı tutmanın pratik nedeni şudur: ancak ayrı ölçülebilen bir adım ayrı düzeltilebilir. Uçtan uca tek bir "cevap iyi mi" puanı, hattın hangi halkasının koptuğunu söylemez; iyileştirme denemeleri o puanı yukarı aşağı oynatır ama hangi müdahalenin işe yaradığı bilinmez. Sınırlar sorumlulukla çizilir: getirme adımları "doğru metin geldi mi" sorusunun, üretim adımı "gelen metinden doğru cümle kuruldu mu" sorusunun sahibidir.
Adımlar ve hata biçimleri#
| Adım | Görevi | Tipik hata | Ölçüm noktası |
|---|---|---|---|
| Sorgu hazırlama | Kullanıcı sorusunu aranabilir hale getirme | Kısaltma veya eş anlamlı çözülmeden aranır | Ham sorgu ile işlenmiş sorgunun yan yana kaydı |
| Aday getirme | Dizinden geniş bir aday kümesi çekme | Aday sayısı dar tutulur, doğru parça hiç gelmez | Doğru parçanın aday kümesinde bulunma oranı |
| Süzme | Yetki, dil, sürüm ve tarih filtrelerini uygulama | Filtre aramadan sonra uygulanır, küme boşalır | Filtre öncesi ve sonrası aday sayısı |
| Sıralama | Adayları alaka sırasına dizme | Sıralama tek sinyale dayanır, bir sorgu tipi çöker | İlk k sonuçtaki ilgili parça sayısı |
| Bağlam derleme | Seçilen parçaları isteme yerleştirme | Bütçe aşılır, parçalar sessizce kırpılır | İsteme giren parça sayısı ve jeton toplamı |
| Üretim ve kaynak eşleme | Cevabı kurma ve iddiaları parçalara bağlama | Kaynağı olmayan cümle cevaba karışır | Kaynağa bağlanmış iddia oranı |
İki ayrı sorumluluk: depo ve model#
Vektör deposu yakınlık arar, doğruluk denetlemez. Bir parçanın sorguya gömme uzayında yakın olması, o parçanın soruyu cevapladığı anlamına gelmez; yalnızca benzer bağlamlarda geçen ifadeleri taşıdığı anlamına gelir. Model ise kendisine verilen metnin doğru olup olmadığını güvenilir biçimde denetleyemez; verilen metni tutarlı bir cevaba dönüştürür. Bu iki sınırlılık hattın tasarımını belirler.
Teşhis: hata hangi adımda#
- 1Doğru parça dizinde var mı
Cevabı taşıyan metni dizinde kimlikle arayın. Bulamıyorsanız sorun alma veya parçalama adımındadır; arama ayarlarıyla oynamak zaman kaybıdır.
- 2Aday kümesine giriyor mu
Aday sayısını geçici olarak yükseltip aynı sorguyu koşturun. Parça geniş adayda gelip darda gelmiyorsa sorun sıralamada; hiçbirinde gelmiyorsa sorgu veya gömme tarafındadır.
- 3İsteme giriyor mu
Modele gönderilen son metni olduğu gibi günlüğe yazın. Parça seçilmiş ama bütçe nedeniyle kırpılmışsa sorun bağlam derleme adımındadır.
- 4İstemde var ama cevapta yok mu
Parça isteme girdiği halde cevap onu kullanmıyorsa sorun üretim tarafındadır: yerleşim sırası, yönerge ve kaynak zorunluluğu gözden geçirilir.
Sık yapılan hata#
En sık görülen yanılgı, kötü cevaptan sonra doğrudan modele yönelmektir: daha büyük bir model denenir, istem yeniden yazılır, üretim ayarları kısılır. Bunların hepsi üretim adımına ait müdahalelerdir. Hata getirme tarafındaysa hiçbiri işe yaramaz; üstelik aynı anda birden çok yerde değişiklik yapıldığı için hattın hangi halkasının bozuk olduğu iyice belirsizleşir.
LAB · UYGULAMALI ALIŞTIRMA
Kendi hattınızın hata haritasını çıkarın
- 1Belge setinizden, cevabı tek bir bölümde geçen 10 soru yazın ve her sorunun cevabını taşıyan parçanın kimliğini elle not edin.
- 2Hattınızı bu 10 soruyla koşturun; her soru için dört şeyi kaydedin: aday kümesi, süzme sonrası küme, isteme giren parçalar, üretilen cevap.
- 3Not ettiğiniz doğru parçanın hangi adımda kaybolduğunu her soru için tek sütuna yazın: aday, süzme, sıralama, bağlam, üretim.
- 4Kayıpları adıma göre sayıp en çok kaybın yaşandığı adımı işaretleyin.
- 5O adım için tek bir değişiklik önerin ve önerinin hangi ölçüm noktasında görüneceğini yazın.
Beklenen çıktı
On soruluk bir hata haritası: her sorunun hangi hat adımında kaybedildiği ve en çok kayıp veren adım için tek bir düzeltme önerisi.
Sık sorulan sorular
Adımları tek tek ölçmek yerine doğrudan uçtan uca cevap kalitesine bakmak yetmez mi?
Uçtan uca puan hattın bozulduğunu söyler, nerede bozulduğunu söylemez. İki farklı adımın hatası aynı düşük puanı üretir; bu yüzden düzeltme denemeleri birbirini iptal eder ve ilerleme rastgele görünür. Adım bazlı ölçüm, bir değişikliğin etkisini izole edip atfedilebilir hale getirir.
Bağlam pencereleri büyüdükçe geri getirmeye gerek kalmayacak mı?
Pencerenin büyümesi, tüm kurum belgelerini her istekte göndermeyi maliyet, gecikme ve yetki açısından makul kılmaz. Ayrıca geri getirme yalnızca bir sığdırma çözümü değildir: hangi belgenin hangi kullanıcıya görünebileceği ve cevabın hangi kaynağa dayandığı da getirme tarafında çözülür.
Vektör deposu yerine doğrudan anahtar kelime araması yetmez mi?
Cevap sorgu tipine bağlıdır. Kullanıcılar belgedeki terimi birebir yazıyorsa kelime araması güçlüdür; kendi kelimeleriyle soruyorsa anlamsal arama gerekir. Bu ders hattın iskeletini kurar, iki yöntemin birlikte kullanımı üçüncü bölümün konusudur.
LEARN
RAG Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.