Hibrit arama kurmak

Teori: iki farklı körlük#

Lexical arama kelimeyi görür, anlamı görmez: "fatura" arayan kişiye "irsaliye" getirmez. Anlamsal arama anlamı görür, kelimeyi görmez: "madde 7/b" arayan kişiye anlamca yakın ama numarası farklı maddeleri getirir. İki yöntem birbirinin körlüğünü kapatır.

Birleştirme: neden puan değil sıra?#

İki yöntemin ürettiği puanlar aynı ölçekte değil: kosinüs benzerliği sınırlı bir aralıkta, lexical puan ise belge uzunluğuna ve terim seyrekliğine göre serbestçe değişir. Bu yüzden puanları doğrudan toplamak yanıltıcı. Karşılıklı sıra birleştirmesi (reciprocal rank fusion) bunun yerine yalnızca sıraları kullanır.

def karsilikli_sira_birlestir(listeler, k=60):
    """Her belgenin, bulunduğu listelerdeki sıralarının tersini toplar.

    listeler: her biri sıralı belge kimliği listesi (en iyi en başta)
    k: küçük sıraların baskınlığını yumuşatan sabit
    """
    puanlar = {}
    for liste in listeler:
        for sira, kimlik in enumerate(liste, start=1):
            puanlar[kimlik] = puanlar.get(kimlik, 0) + 1 / (k + sira)
    return sorted(puanlar, key=puanlar.get, reverse=True)


# Kullanım
birlesik = karsilikli_sira_birlestir([
    anlamsal_ara(sorgu, n=50),
    lexical_ara(sorgu, n=50),
])

Yöntemin iki pratik avantajı var: ölçek uyumu gerektirmez ve üçüncü bir sinyal (örneğin başlık eşleşmesi veya güncellik) eklemek için yeni bir liste vermek yeterlidir.

Yeniden sıralama#

Birleştirilmiş listenin ilk 20-50 adayı, bir cross-encoder ile yeniden puanlanabilir. Cross-encoder sorgu ve belgeyi birlikte okur; bu yüzden gömme aramadan daha isabetli ama çok daha yavaştır. Bu nedenle tüm dizine değil yalnızca ilk adaylara uygulanır.

1. 1Sorgu hazırlığı

   Kısaltmalar açılır, yetki ve tarih filtreleri eklenir.

2. 2Paralel arama

   Anlamsal ve lexical arama aynı anda, geniş n ile koşar.

3. 3Birleştirme

   Karşılıklı sıra birleştirmesiyle tek liste üretilir.

4. 4Yeniden sıralama

   İlk 20-50 aday cross-encoder ile puanlanır.

5. 5Bağlam kurma

   İlk k parça, kaynak künyesiyle isteme yerleştirilir.

Ölçüm#

• Recall@k: doğru parça ilk k sonuç içinde var mı? RAG için en kritik metrik.
• MRR: doğru parçanın sırasının tersi; üstte olmasını ödüllendirir.
• nDCG: birden çok ilgili parça olduğunda sıralama kalitesini ölçer.
• Boş dönüş oranı: hiç sonuç gelmeyen sorgu yüzdesi; içerik açığının göstergesi.