Gömme modeli seçimi ve vektör hijyeni

Teori: yön, ölçü ve boyut#

Bir gömme vektörünün iki bilgisi vardır: yön ve uzunluk. Anlamsal yakınlık yönde taşınır; uzunluk ise çoğu modelde metnin uzunluğu ve terim yoğunluğu gibi ilgisiz etkenlerle değişir. Kosinüs benzerliği yalnızca yönü karşılaştırdığı için uzunluğu görmezden gelir, iç çarpım ise uzun vektörleri ödüllendirir. Vektörleri birim uzunluğa indirdiğinizde iç çarpım kosinüsle aynı sonucu verir ve Öklid uzaklığı da kosinüsün tekdüze bir dönüşümü olur; yani üç metrik arasındaki tercih, tek bir soruya iner: normalize ediyor muyum?

Boyut sayısı doğrudan maliyettir. float32 bir sayı tanım gereği 4 bayt tutar; bu örnekte 768 boyut varsayarsak bir vektörün ham hali yaklaşık 3 KB yer kaplar, parça sayısı milyonlara çıktığında yalnızca ham vektörler gigabayt ölçeğine ulaşır. Yüksek boyut daha ince ayrım imkânı verebilir ama bellek, dizin inşa süresi ve sorgu gecikmesi de onunla birlikte büyür. Bazı modeller vektörün baştan belli bir kısmının kendi başına anlamlı kalacağı biçimde eğitilir; böyle bir modelde boyutu kırpmak kaliteyi kademeli düşürür. Model kartında böyle bir davranış yazmıyorsa kırpmayın, gelişigüzel kesilen vektör sessizce bozulur.

import numpy as np


def birimlestir(v):
    """Vektörü birim uzunluğa indirir; sıfır vektörü olduğu gibi döner."""
    norm = np.linalg.norm(v, axis=-1, keepdims=True)
    return v / np.where(norm == 0, 1, norm)


# Birimleştirdikten sonra iç çarpım, kosinüs benzerliğine eşittir.
belgeler = birimlestir(belge_vektorleri)  # (n, d)
sorgu = birimlestir(sorgu_vektoru)        # (d,)
benzerlik = belgeler @ sorgu              # (n,)

# Kritik nokta: sıralamayı belge tarafı belirler. Yalnızca sorguyu birimleştirmek
# bütün puanları aynı sabite böler; sıra değişmez, yalnızca eşikler kayar.
# Asıl tehlike dizinde normalize edilmiş ve edilmemiş vektörlerin karışmasıdır.

Asimetri: sorgu ile belge aynı şey değil#

Aramada iki taraf farklı biçimdedir: sorgu kısa ve soru kipinde, belge uzun ve bildirim kipindedir. İkisini aynı kodlayıcıdan aynı biçimde geçirirseniz model soruya benzeyen metinleri öne çıkarmaya eğilir; en çok soru cümlesi içeren parça, cevabı taşıyan parçanın önüne geçer. Asimetrik eğitilmiş modeller bunu sorgu ve belge için ayrı önek ya da yönerge bekleyerek çözer. Modelin beklediği öneki atlamak sessiz bir kalite kaybıdır: sistem hata vermez, yalnızca isabet düşer. Belgeyi önekle dizine yazıp sorguyu öneksiz sormak da iki tarafı fiilen farklı uzaylara taşır.

Uygulamada: seçim ölçütleri#

Karar akışı#

1. 1Sınama seti yaz

   Üretimden gelmiş 20-30 gerçek sorgu seçin ve her biri için doğru kabul edilen parçaları elle işaretleyin.

2. 2İki aday belirle

   Biri genel amaçlı ve çok dilli, diğeri alanınıza yakın olsun; ikisini de aynı parçalamayla gömün.

3. 3Aynı koşulda ölç

   Aynı normalizasyon, aynı önek kuralı, aynı ilk-k değeri; tek değişken model olsun.

4. 4Maliyeti karara kat

   İsabet farkını bellek, gecikme ve olası yeniden gömme yüküyle birlikte yazın; fark küçükse ucuz olanı seçin.

Sık yapılan hata: sessiz sürüm kayması#

En pahalı hata, model sürümünü kayıt altına almadan dizin doldurmaktır. Gömme modeli değiştiğinde ya da servis tarafında sessizce güncellendiğinde eski vektörler yeni sorgu vektörleriyle aynı uzayda olmaz; sistem yine hata vermez, yalnızca giderek daha alakasız sonuç döndürür. Her parçanın üst verisinde model adı, sürümü ve normalizasyon kuralı bulunmalı; yeniden gömme bir bakım işi olarak planlanmalı ve geçiş sırasında eski ile yeni dizin bir süre yan yana yaşayabilmelidir.

• Benzerlik puanını doğruluk sanmak: gömme yakınlık ölçer, doğruluk ölçmez; alakasız iki metin de yüksek puan alabilir.
• Sabit eşik yazmak: eşik model, alan ve parçalamaya göre değişir; eşik kullanılacaksa kendi setinizde kalibre edilir.
• Sorgu ile belgeyi farklı modellerle gömmek: iki ayrı uzayda kosinüs hesaplamak anlamsızdır.
• Boyutu keyfî kırpmak: model buna göre eğitilmediyse vektör bozulur ve bozulma ölçümde geç görünür.