Değerlendirme kümesi, sürüm karşılaştırması ve korkuluklar
Kendi verinizden dondurulmuş bir değerlendirme kümesi çıkarmayı, kapsama ile isabeti ayrı raporlamayı, tek değişkenli sürüm karşılaştırması yapmayı ve yayın sonrası korkulukları kurmayı anlatır.
Önkoşul: Retrieval-Augmented Generation, Semantic Search, Context Window
BU DERSİN SONUNDA
- Kendi belgelerinizden dondurulmuş bir değerlendirme kümesi çıkarmak
- Getirme ve üretim ölçütlerini ayrı ayrı raporlamak
- İki hat sürümünü tek değişken kuralıyla karşılaştırmak
- Yayın sonrası izleme ve korkuluk eşiklerini tanımlamak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Geri getirme kalitesi tek bir sayıyla ölçülmez. Getirme tarafı iki ayrı soruya ayrı cevap ister: doğru parça aday kümesine girdi mi (kapsama) ve giren parça üst sıralara dizildi mi (isabet). Üçüncüsü üretim tarafına aittir: cevap kendisine verilen parçaya sadık kaldı mı. Bu üçü tek ortalamaya sıkıştırıldığında iyileştirmenin yönü kaybolur.
Teori: neden ayrı ölçütler#
Kapsama, doğru parçanın getirilen adaylar arasında bulunma oranıdır ve hattın tavanını belirler: aday kümesine girmeyen parça hiçbir sonraki adımda geri gelmez. İsabet ise bu adayların üst sıralara dizilme başarısıdır. İkisi farklı müdahalelerle düzelir; kapsama düşükse parçalama, gömme ve sorgu hazırlama tarafına, isabet düşükse birleştirme ve sıralama tarafına bakılır.
Üretim tarafındaki ölçüt sadakattir: cevaptaki her iddianın gönderilen parçalarda dayanağı var mı. Sadakat, cevabın doğru olduğunu söylemez; verilen kaynağa uygun olduğunu söyler. Kaynak yanlışsa sadık bir cevap da yanlış olur. Bu yüzden sadakat kapsamanın yerine geçmez, onun üzerine eklenir.
Değerlendirme kümesi nasıl çıkarılır#
- 1Soruları gerçek kullanımdan alın
Destek kayıtları, arama günlüğü, ekip içi sorular. Kendi yazdığınız sorular kendi dizininize göre kolaycı olur; gerçek sorular terim, yazım ve belirsizlik çeşitliliğini taşır.
- 2Her soruya kaynak parçayı elle bağlayın
Cevabı taşıyan parçanın kimliğini not edin; birden çok parça gerekiyorsa hepsini yazın. Bu liste kapsama hesabının tek dayanağıdır.
- 3Cevaplanamaz soruları da koyun
Kümenin bir bölümü, belge setinizde cevabı bulunmayan sorulardan oluşmalı. Hattın bilmiyorum diyebilme yeteneği ancak bu sorularla ölçülür.
- 4Sorgu tiplerini dengeli tutun
Terim ağırlıklı, ifade ağırlıklı, çok belgeli ve filtre gerektiren sorular ayrı ayrı temsil edilsin. Tek tip ağırlık kazanırsa ölçüm de yalnızca o tipe göre iyileşen bir hat üretir.
- 5Kümeyi dondurun ve sürümleyin
Küme değiştikçe karşılaştırma anlamını yitirir. Yeni sorular eklerken sürüm numarası verin ve her raporda hangi sürümle ölçüldüğünü yazın.
Ne raporlanır#
| Ölçüt | Ne sorar | Düşükse nereye bakılır |
|---|---|---|
| Kapsama | Doğru parça aday kümesine girdi mi | Parçalama, gömme modeli, sorgu hazırlama |
| Üst sıra isabeti | Doğru parça ilk sonuçlar içinde mi | Birleştirme ağırlığı, yeniden sıralama |
| Sadakat | İddiaların dayanağı bağlamda var mı | Bağlam bütçesi, yerleşim sırası, yönerge |
| Reddetme başarısı | Cevapsız soruda bilmiyorum dendi mi | Alaka eşiği, yönerge, kod denetimi |
| Gecikme dağılımı | Yavaş uçtaki istekler ne kadar sürüyor | Aday derinliği, yeniden sıralama, bütçe |
Sürüm karşılaştırması#
Karşılaştırmanın tek kuralı vardır: bir seferde tek değişken. Parçalama ile gömme modelini aynı sürümde değiştirirseniz fark ölçülebilir ama atfedilemez, hangi değişikliğin işe yaradığını bilmeden ikisini birden taşımak zorunda kalırsınız. Her sürüm için parçalama yöntemi, gömme modeli ve sürümü, aday derinliği, birleştirme ayarı, bağlam bütçesi ve istem sürümü kayda geçer. Sonuçları yalnızca toplamda değil soru bazında saklayın: toplam yerinde dururken bazı soruların düzelip bazılarının bozulması sık görülür ve bu geri gidişleri yalnızca soru düzeyindeki kayıt yakalar.
Yayın ve korkuluklar#
- Yetki filtresini aramanın içine alın ve her istekte hangi yetki kümesiyle arandığını günlüğe yazın.
- Cevaptaki kaynak kimliklerini bağlama gönderilen listeyle karşılaştırın; eşleşmeyen kimlik cevabı durdursun.
- Bağlama giren parçaları veri olarak işaretleyin ve parça metninin yönerge gibi okunmasına karşı çıktıyı biçim denetiminden geçirin.
- Günlüğe yazmadan önce maskeleme adımı koyun; soru metni çoğu zaman kişisel veri taşır.
- Aday derinliği, bağlam bütçesi ve istem sürümünü her istek kaydına iliştirin; sonradan yapılacak teşhis bu alanlar olmadan yapılamaz.
- Olumsuz kullanıcı geri bildirimini ilgili istek kimliğiyle eşleyin; değerlendirme kümesinin bir sonraki sürümü buradan büyür.
Sık yapılan hata#
En sık görülen hata, değerlendirme kümesini hattı kurarken değil ilk şikâyet geldikten sonra hazırlamaktır. O noktada küme yaşanmış birkaç hatanın etrafında şekillenir ve kullanımın geri kalanını temsil etmez; iyileştirmeler o dar bölgede iyi, başka yerlerde kötü sonuç verir. İkinci yaygın hata, sadakat ölçümünü getirme ölçütlerinin yerine koymaktır: sadakat yüksekken kapsama düşükse hat, yanlış kaynaklara kusursuzca sadık kalıyor demektir.
LAB · UYGULAMALI ALIŞTIRMA
Değerlendirme kümesi kurun ve iki sürümü karşılaştırın
- 1Arama günlüğünüzden veya destek kayıtlarınızdan 25 gerçek soru toplayın; bunların en az beşi belge setinizde cevabı olmayan sorular olsun.
- 2Cevabı olan her soruya, cevabı taşıyan parça kimliklerini elle bağlayın ve dosyayı sürüm numarasıyla dondurun.
- 3Mevcut hattınızı bu kümeyle koşturup dört sayıyı kaydedin: kapsama, ilk beş isabeti, kaynaksız iddia sayısı, cevapsız sorularda bilmiyorum oranı.
- 4Hatta tek bir değişiklik yapın (örneğin yalnızca aday derinliğini artırın) ve aynı kümeyi yeniden koşturun.
- 5Sonuçları soru bazında yan yana koyup düzelen ve bozulan soruları ayrı listeleyin.
- 6Değişikliği yayına almak için tek bir kabul kuralı yazın; kural hem beklenen kazanç eşiğini hem izin verilen bozulma sayısını içersin.
Beklenen çıktı
Sürümlenmiş 25 soruluk bir değerlendirme kümesi, tek değişkenli iki sürümün soru bazında karşılaştırması ve yazılı bir yayın kabul kuralı.
Sık sorulan sorular
Değerlendirme kümesi kaç soru olmalı?
Sayı, ölçütünüzün ne kadar ince farkı güvenle göstermesini istediğinize bağlıdır; küçük bir küme yalnızca büyük farkları ayırt eder. Pratik yaklaşım, kümeyi sorgu tiplerine bölüp her tipte elle işaretlemeye gücünüzün yettiği kadar soru tutmak, sonra gerçek kullanımdan gelen yeni tiplerle büyütmektir. Kritik olan sayının kendisi değil, kümenin dondurulmuş ve sürümlenmiş olmasıdır.
Cevabı olmayan soruları kümeye koymak neden gerekli?
Çünkü bir geri getirme hattının en tehlikeli hatası, bilmediğini bilmemesidir. Yalnızca cevaplanabilir sorularla ölçülen bir hat, her soruya cevap üreterek yüksek puan alır ve alaka eşiğini gevşetmenin bedeli ölçümde hiç görünmez. Cevapsız sorular, eşik ve reddetme davranışının tek karşılığıdır.
İnce ayarlama (fine-tuning) geri getirmenin yerine geçer mi?
Geçmez, çünkü ikisi farklı iş yapar. İnce ayarlama modele davranış öğretir: biçim, üslup, belirli bir görevi çözme alışkanlığı. Kurum belgelerindeki güncel ve değişken bilgiyi cevaba taşımanın yolu geri getirmedir; belge değiştiğinde dizini güncellemek yeniden eğitmekten hem daha hızlı hem daha denetlenebilirdir. İkisi birlikte kullanılabilir ama biri diğerinin yerine konmaz.
LEARN
RAG Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.