Infrastructure
Yapay zekâ altyapısı, eğitim ve çıkarımın üzerinde çalıştığı hesaplama, bellek, ağ ve depolama katmanıdır; ürün kararlarının maliyet ve gecikme sınırlarını çizen yer burasıdır. Eğitim ile çıkarım farklı darboğazlara sahiptir: eğitim ölçekli iletişim ve toplam bellek sorunuyken, çıkarım gecikme, eşzamanlılık ve bellek bant genişliği sorunudur. Hızlandırıcılar, sunum mimarileri, kapasite planlaması, enerji ve veri merkezi kısıtları bu başlığın altında toplanır.
Her alt konu kendi merkezine sahiptir; kavram, haber, ders ve test orada toplanır.
Kendi altyapında model çalıştırmanın ucuz olduğu eşik, toplam istek hacmine değil kapasite kullanım oranına bağlıdır. Yönetilen API'de boşta duran kapasite ödemezsiniz; kendi donanımınızda ödersiniz. Bu yüzden yüksek ama dalgalı hacim, düşük ama düzgün hacimden daha pahalıya gelebilir — karar hacim tablosuyla değil yük profiliyle verilir.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Yüksek boyutlu vektörleri saklayıp anlamsal yakınlığa göre hızlı komşu araması yapabilen veri tabanıdır.
Aynı konunun öğretim ve ölçüm formatları.
Testler
