LAB · ARAÇ
GPU Bellek Hesaplayıcı
Model boyutu ve niceleme seçimine göre gereken bellek tahmini.
Durum
ÇalışıyorGirdiler
- Parametre
- milyar
- Niceleme
- bit
Hesaplama tarayıcıda yapılır; girdiğiniz değerler sunucuya gönderilmez.
Hesapla
Girdileri değiştirdiğinizde sonuç anında güncellenir. Hangi varsayımın sonucu ne kadar değiştirdiğini görmek için tek tek oynayın.
Girdiler
Niceleme belleği düşürür ama kalite kaybı riski taşır; kendi görev setinizde ölçün.
Yalnızca ağırlıklar ve KV önbelleği bellekte tutulur.
Sonuç
Tahmini bellek ihtiyacı
35,5GB
Bellek dağılımı
- Ağırlıklar14,9
- KV önbelleği16
- Çalışma alanı4,6
Donanım
Tek 40 GB'lık hızlandırıcı yeterli görünüyor.
Hesap; ağırlık boyutu, KV önbelleği ve çalışma alanı için yaygın kabul edilen yaklaşımlara dayanır. Gerçek kullanım; çıkarım motoru, dikkat uygulaması (ör. paged attention), parçalı yükleme ve bellek parçalanmasına göre değişir. Üretim kararından önce kendi yığınınızda ölçün.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- Large Language ModelsMixture of ExpertsHer girdi için ağdaki uzman alt bloklardan yalnızca birkaçını etkinleştirerek kapasiteyi maliyetten ayıran model mimarisidir.
- Large Language ModelsFine-TuningÖnceden eğitilmiş bir modelin, belirli bir görev veya alana uyum sağlaması için ek veriyle yeniden eğitilmesidir.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.