Infrastructure
Yapay zekâ maliyeti token başına ilan edilen fiyattan değil mimariden gelir: kaç çağrı yapıldığı, bağlama ne kadar metin konduğu, hangi işin hangi modele yönlendirildiği ve neyin önbelleğe alındığı. Ajanlar bu tabloyu tek bir kullanıcı isteğini onlarca çağrıya çevirerek büyütür; birim maliyeti ölçmeyen ekipler faturayı ancak ay sonunda görür ve o noktada hangi akışın pahalı olduğunu ayırt edemez. Model yönlendirme (routing), istem önbelleği, bağlam bütçesi, kendi sunucusunda barındırma ile API karşılaştırması ve istek başına birim maliyet takibi bu başlıkta ele alınır.
Dil modeli maliyetini düşürmek isteyen ekipler önce daha ucuz modele bakıyor; oysa faturayı belirleyen şey birim fiyat değil, istek başına gönderilen token miktarı ve istek sayısıdır. Bağlam tasarımı, önbellek kullanımı, model yönlendirmesi ve gereksiz tur eleme, birim fiyat farkından büyüklük mertebesinde daha fazla kazandırır — ve kalite kaybı olmadan kazandırır.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Yüksek boyutlu vektörleri saklayıp anlamsal yakınlığa göre hızlı komşu araması yapabilen veri tabanıdır.
Aynı konunun öğretim ve ölçüm formatları.
Testler
