Infrastructure

GPU, TPU ve Hızlandırıcılar

Bir modelin nerede ve ne maliyetle çalışacağını hızlandırıcının üç özelliği belirler: bellek kapasitesi, bellek bant genişliği ve düğümler arası bağlantı (interconnect) hızı. Dil modeli çıkarımında kod çözme aşamasının darboğazı genellikle ham hesaplama değil bellek bant genişliğidir; bu yüzden benzer FLOPS değerine sahip iki kart pratikte çok farklı token/saniye üretir ve yalnızca teorik güce bakan karşılaştırmalar yanıltır. Kapsam: GPU, TPU ve NPU mimarileri, bellek hiyerarşisi, ölçekli eğitimde iletişim desenleri ve donanım seçim ölçütleri.

Gündem

1

Kavram

2

Analiz

0

Radar momentum

—