LAB · ARAÇ
LLM Maliyet Hesaplayıcı
Trafik hacmine göre aylık çıkarım maliyetini modelleyen hesaplayıcı.
Durum
ÇalışıyorGirdiler
- Günlük istek
- adet
- Girdi uzunluğu
- token
- Çıktı uzunluğu
- token
Hesaplama tarayıcıda yapılır; girdiğiniz değerler sunucuya gönderilmez.
Hesapla
Girdileri değiştirdiğinizde sonuç anında güncellenir. Hangi varsayımın sonucu ne kadar değiştirdiğini görmek için tek tek oynayın.
Girdiler
Gömme ve yeniden sıralama için ek küçük çağrılar.
Sabit sistem istemi ve belge bağlamı tekrar ediyorsa isabet oranı yükselir.
Sonuç
Aylık tahmini maliyet
716
Maliyet dağılımı (günlük)
- Girdi9,46
- Çıktı14,4
Etkin girdi fiyatı: 2,19 / 1M token
Önbellek indirimi %90 varsayımıyla hesaplanır; gerçek oran sağlayıcıya göre değişir. Gömme, yeniden sıralama ve altyapı maliyetleri çağrı çarpanına yaklaşık olarak dâhil edilmiştir — ayrı hesaplanması gerekiyorsa kendi çarpanınızı girin.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- Large Language ModelsTokenizationMetnin, modelin işleyebileceği en küçük birimlere (token) bölünmesi işlemidir.
- Large Language ModelsContext WindowBir modelin tek seferde dikkate alabileceği toplam token miktarıdır; istem, ek bağlam ve üretilen cevap bu bütçeyi paylaşır.
- Large Language ModelsMixture of ExpertsHer girdi için ağdaki uzman alt bloklardan yalnızca birkaçını etkinleştirerek kapasiteyi maliyetten ayıran model mimarisidir.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.