Infrastructure
Uç cihazda çalıştırma, modeli telefon, dizüstü ya da gömülü donanımın NPU'sunda çalıştırarak gecikmeyi düşürmek, çevrimdışı kullanımı mümkün kılmak ve veriyi cihazdan çıkarmamaktır. Belirleyici kısıt bellek bant genişliğidir: mobil cihazların bant genişliği veri merkezi hızlandırıcılarının çok gerisinde kaldığı için küçük ve nicelenmiş modeller, statik şekiller ve enerji bütçesi birlikte tasarlanır. Şu başlıklar buraya bağlanır: küçük dil modeli seçimi, niceleme-duyarlı eğitim, NPU çalışma zamanları ve cihaz-bulut karma mimariler.
Cihaz üstü ve küçük modeller genellikle maliyet tasarrufu olarak pazarlanıyor ve bu hesap çoğu zaman tutmuyor: kendi barındırmanın toplam maliyeti, düşük kullanım oranlarında API'den pahalı olabiliyor. Asıl gerekçe başka yerde — verinin cihazdan hiç çıkmaması. Bu, bir maliyet kalemi değil bir uyum ve güven özelliği ve bazı kullanımlarda tek uygulanabilir seçenek.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Yüksek boyutlu vektörleri saklayıp anlamsal yakınlığa göre hızlı komşu araması yapabilen veri tabanıdır.
Aynı konunun öğretim ve ölçüm formatları.
