LAB
Hesaplayıcılar
Bir kararı hızlandıran küçük araçlar: token, maliyet, bağlam bütçesi, GPU belleği ve parça uzunluğu. Hesaplama istemci tarafında yapılır.
- Hesaplayıcı
- 18
- Yayında
- 18
- Çalışma yeri
- İstemci
01ARAÇLAR
Hesaplayıcılar
- AI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.Etkilenen çalışan (kişi)Haftalık tasarruf (saat)Benimseme oranı (%)
- Ajan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.Adım sayısı (adım)Başlangıç bağlamı (token)Araç sonucu / adım (token)Model çıktısı / adım (token)Bağlam penceresi (token)Girdi fiyatı (/1M)Çıktı fiyatı (/1M)
- Bağlam Penceresi Hesaplayıcıİstem, bağlam ve cevabın bağlam bütçesini nasıl paylaştığını gösterir.Pencere (token)Sistem istemi (token)Geri getirilen bağlam (token)
- Değerlendirme Örneklem BüyüklüğüBir değerlendirme kümesinin ne kadar büyük olması gerektiğini, hedeflenen güven aralığı genişliği ve ayırt edilmek istenen en küçük fark üzerinden hesaplar. Eldeki etiketli küme girildiğinde ters yönde de çalışır: o kümeyle hangi büyüklükteki bir farkın gürültüden ayrılabileceğini söyler.Karşılaştırma düzeni (seçim)Beklenen başarı oranı (%)Hedeflenen yarı genişlik (± puan)Güven düzeyi (seçim)İstatistiksel güç (seçim)Anlaşmazlık oranı (%)Eldeki etiketli örnek (örnek)
- Gömme Depolama HesaplayıcıParça sayısı, vektör boyutu ve sayı tipinden bir vektör dizininin kapladığı yeri; HNSW grafının bu yerin ne kadarını tuttuğunu ve aylık yeniden dizinleme yükünü hesaplar. Dizini kurmadan önce bellek ve mimari kararını sayıya bağlamak isteyen ekipler için.Parça sayısı (vektör)Vektör boyutu (boyut)Kopya sayısı (kopya)Sayı tipi (float32 / float16 / int8)HNSW komşu sayısı (M)Parça başına meta veri (bayt)Aylık yenilenen içerik (%)
- GPU Bellek HesaplayıcıModel boyutu ve niceleme seçimine göre gereken bellek tahmini.Parametre (milyar)Niceleme (bit)
- İnsan Onay KapasitesiGünlük karar hacmi, otomatik geçiş oranı ve ortalama inceleme süresinden insan onayı için gereken inceleyici sayısını ve kuyruk doluluğunu çıkarır. Otomasyon eşiğine karar verecek ürün ve uyum ekipleri için, kuyruğun hangi noktada darboğaz olduğunu gösterir.Günlük karar hacmi (karar/gün)Otomatik geçiş oranı (%)Ortalama inceleme süresi (saniye/karar)İnceleyici sayısı (kişi)Vardiya uzunluğu (saat/gün)Verimli inceleme payı (%)Zirve yoğunluk katsayısı (kat)
- İstem Bütçesi DağıtıcıBağlam penceresini sistem istemi, örnekler, getirilen parçalar, konuşma geçmişi ve çıktı payına böler; taşmaya sebep olan payı adlandırıp ilk hamleyi söyler. İstem bütçesini dağılım olarak görmek isteyen ekipler için.Bağlam penceresi (token)Sistem istemi ve araç şemaları (token)Örnek sayısı (adet)Örnek başına uzunluk (token)Getirilen parçalar (token)Konuşma geçmişi (token)Ayrılan çıktı payı (token)
- Karışıklık Matrisi ve EşikKarışıklık matrisinin dört sayısından kesinlik, duyarlılık, özgüllük ve F1 üretir; yanlış pozitif ile yanlış negatifin maliyeti farklı olduğunda karar eşiğinin nereye kayması gerektiğini gösterir. Sınıflandırıcı devreye almadan önce hangi hatayı kabul ettiğini yazıya dökmek isteyen ekipler için.Gerçek pozitif (TP) (örnek)Yanlış negatif (FN) (örnek)Yanlış pozitif (FP) (örnek)Gerçek negatif (TN) (örnek)Yanlış pozitif maliyeti (birim)Yanlış negatif maliyeti (birim)Şu anki karar eşiği (olasılık)
- LLM Maliyet HesaplayıcıTrafik hacmine göre aylık çıkarım maliyetini modelleyen hesaplayıcı.Günlük istek (adet)Girdi uzunluğu (token)Çıktı uzunluğu (token)
- Nicemleme Bellek ve ÖdünleşimParametre sayısı ve bit genişliğinden ağırlık belleğini, KV önbelleğinin payını ve nicemlemenin toplamda gerçekten ne kadar yer açtığını hesaplar. Bir modeli sıkıştırmaya karar vermeden önce kazancın nerede eridiğini görmek isteyen altyapı ekipleri için.Parametre sayısı (milyar)Taban bit genişliği (bit)Hedef bit genişliği (bit)Etkin parametre payı (%)Katman sayısı (adet)KV kanal genişliği (kanal)Bellekte tutulan bağlam (token)
- RAG Chunk HesaplayıcıDoküman boyutuna göre parça uzunluğu ve örtüşme önerisi üretir.Doküman (sayfa)Parça uzunluğu (token)
- Token HesaplayıcıMetnin token karşılığını ve tahmini maliyetini anında hesaplar.Metin (karakter)Birim fiyat (1M token)
- Toplu İşlem VerimiYığın boyutu, istek başına token ve eşzamanlı kopya sayısından bir çıkarım servisinin kapasitesini, doluluğunu ve istek başına gecikmesini hesaplar. Yığını büyütmek kuyruk beklemesini kısaltırken dolma beklemesini uzattığı için gecikmeyi en küçükleyen yığını tarayarak bulur.Gelen istek hızı (istek/sn)İstek başına girdi token (token)İstek başına çıktı token (token)Yığın boyutu (istek)Yığın ölçekleme verimi (%)Tek akışta ölçülen token hızı (token/sn)Eşzamanlı kopya (adet)
- Uçtan Uca Gecikme BütçesiBir RAG yanıtının süresini getirme, yeniden sıralama, ilk token beklemesi, üretim ve son işlem paylarına ayırıp toplar. Hedef bütçeye sığıp sığmadığını, bütçenin en büyük payını hangi adımın aldığını ve sığmak için neyin değişmesi gerektiğini gösterir.Gecikme bütçesi (ms)Getirme (retrieval) (ms)Yeniden sıralama (ms)İlk token gecikmesi (ms)Üretilecek token (adet)Üretim hızı (token/s)Son işlem (ms)
- Veri Saklama TakvimiGünlük kayıt hacmi, kayıt başına boyut ve saklama süresinden durağan durumda depoda duran hacmin tepe değerini ve silme takvimini çıkarır. Silme işinin çalışma aralığının politikada yazan süreyi kaç gün aştığını ayrı bir kalem olarak gösterir.Kayıt türü (seçim)Günlük kayıt hacmi (kayıt/gün)Kayıt başına boyut (bayt)Saklama süresi (gün)Silme işi aralığı (gün)Kişisel veri durumu (seçim)Tutulan kopya sayısı (kopya)
- Veri Seti Bölme HesaplayıcıEğitim, doğrulama ve test paylarını girdiğinizde en küçük sınıftan test kümesine kaç örnek düştüğünü, katmanlı bölmenin ne zaman zorunlu hâle geldiğini ve test kümesinin ölçebileceği en küçük farkı hesaplar. Sınıf dengesizliği olan veriyle çalışan ve skorunun ne kadarının şans olduğunu bilmek isteyen ekipler için.Toplam örnek sayısı (örnek)Sınıf sayısı (sınıf)En küçük sınıfın payı (%)Doğrulama payı (%)Test payı (%)Sınıf başına en az test örneği (örnek)Beklenen doğruluk (%)
- Yeniden Sıralama EtkisiAday havuzu (top-n) ile nihai seçim (top-k) arasındaki oranın bağlam yükünü kaç token düşürdüğünü, yeniden sıralamanın eklediği sürenin ön dolumdan kazanılan süreyi karşılayıp karşılamadığını hesaplar. RAG hattında top-n/top-k dengesini kurarken kullanılır.Aday havuzu (top-n) (parça)Nihai seçim (top-k) (parça)Parça uzunluğu (token)Aday başına sıralama süresi (ms)Ön dolum hızı (token/s)Model bağlam penceresi (token)
02DENEYLER
Deney ve açık kaynak
- DeneyAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
- DeneyAraç Çağırma GüvenilirliğiAraç şeması kademeli karmaşıklaştırıldığında çağrı hatalarının hangi türde çoğaldığını izleyen ölçüm düzeni. Araç kümesini büyütmeyi planlayan ekipler için bozuk argüman üretimi, tek bir hata sayısı yerine sınıflara ayrılarak yakalanır.
- DemoBelge Anlama DemosuTaranmış bir belgeden alan çıkarırken düzen haritasını, alan güvenini ve insana devir noktasını aynı ekranda gösteren arayüz taslağı. Tablo ile imza bloğunun neden aynı muameleyi göremeyeceğini anlatır.
- DemoÇok Modlu Arama DemosuGörsel ve metin sorgusunu aynı arama alanında birleştiren, karışım oranını gizli bir varsayılan yerine kullanıcıya açık bir ayar olarak sunan arayüz taslağı. Karışımın isabeti ne zaman düşürdüğünü ekranda göstermeyi dener.
- Açık KaynakDeğerlendirme Hattı ŞablonuBir istem veya model değişikliğini önceki sürümle aynı veri kümesi üzerinde koşturan ve her koşuyu kalıcı kayda geçiren minimal değerlendirme hattı. Sürüm kararı verilirken neyin değiştiğinin sorulabilir olması için kurulur.
- DeneyEmbedding GörselleştiriciYüksek boyutlu gömme vektörlerini iki boyuta indirgerken komşuluk yapısının ne kadarının hayatta kaldığını sınayan bir ölçüm düzeni. Haritada yan yana duran iki noktanın gerçekten anlamsal komşu mu, yoksa indirgemenin yerleştirmesi mi olduğunu ayırt etmek isteyen okur için.
- DeneyGömme Modeli KarşılaştırmasıTürkçe içerikte gömme modeli seçiminin geri getirme niteliğine etkisini sınamak için kurulmuş karşılaştırma düzeni. Boyut, dil kapsamı ve işletme maliyeti arasındaki ödünleşimi aynı dizin ve aynı sorgu kümesi üzerinde görünür kılar.
- DeneyHalüsinasyon Ölçüm DüzeniBir cevabın hangi iddiasının verilen bağlamda karşılığı olmadığını iddia düzeyinde saptamak için kurulmuş ölçüm düzeni. Erişimli üretim hattı kuran ekiplere, dayanaksızlığı tek bir toplam puan yerine iddia bazında ayrıştırma yolu sunar.
- DeneyHibrit Arama Ağırlık DeneyiSözcük tabanlı ve anlamsal skorun harmanlanma ağırlığını sorgu sınıfları kırılımında taramak için kurulan deney düzeni. Arama katmanı kuran ekipler için ölçütler ve beklenen kırılma noktaları.
- Deneyİstem Enjeksiyonu Saldırı DeneyiDolaylı istem enjeksiyonunu araç kullanan bir ajanda izole ortamda sınama düzeni. Güvenlik incelemesi yapanlar için taşıyıcı listesi, savunma katmanları ve durdurmanın hangi katmana ait olduğunun nasıl ayrıştırıldığı.
- Açık Kaynakİstem Sürümleme Kitiİstemleri kod gibi sürümleyen, her değişikliği gerekçesiyle kayda geçiren ve yayındaki sürümü tek adımda geri alınabilir tutan kit. Kimin neyi neden değiştirdiğinin sorulabilir olması için kurulur.
- DemoKırmızı Takım Panosu DemosuBir dil modeli uygulamasına yönelik saldırı senaryolarının, dokundukları yüzeyin, devrede olan savunmanın ve denendikleri sürümün tek yerde kayda geçtiği pano arayüzü. Kapanmamış bulguların sürüm değişimlerinde görünür kalmasını isteyen güvenlik ve ürün ekipleri için tasarlandı.
- Açık KaynakKod ÖrnekleriRehberlerde anlatılan erişimli üretim ve araç çağıran ajan mimarilerinin en küçük çalışır karşılıklarını tek bir ağaç altında toplayan derlemenin tasarımı. Her örneğin hangi kararı yalıttığı, neyin bilinçli olarak dışarıda bırakıldığı ve üretime taşınırken nelerin eklenmesi gerektiği ayrıca yazılır.
- Açık KaynakKoruma Katmanı KitiGirdi ve çıktı tarafında birbirinden bağımsız kontroller kuran, her kararın gerekçesini kayda geçiren koruma katmanı. Tek bir filtrenin yeterli sayılmaması gerektiği varsayımıyla tasarlanmıştır.
- DeneyLLM Yargıç KalibrasyonuModel yargıcının kararının insan etiketiyle uyumunu ölçmek ve konum, uzunluk, biçim yanlılıklarını ayrı ayrı sınamak için kurulan düzen. Otomatik değerlendirmeye geçmeden önce okunması gereken kayıt.
- Açık KaynakModel Çağrısı Maliyet EtiketlemeModel çağrılarını çağıran iş akışı, ortam ve maliyet merkeziyle etiketleyen; sağlayıcı faturasını bu deftere karşı uzlaştıran açık kaynak kit. Ay sonundaki tutarın hangi akıştan doğduğunu sorabilmek isteyen ekipler için.
- DeneyModel SeçiciKullanım senaryosu ve kısıtlara göre model kısa listesi önerir.
- DemoModel Sürüm Farkı DemosuSabit bir girdi kümesinin iki model sürümünden geçmiş çıktılarını eşleştirip yan yana koyan, farkın hangi ölçütle tanımlandığını ekranda açık tutan karşılaştırma arayüzü. Sürüm yükseltmesine bakan bir ekip burada neyin değiştiğini, neyin ölçüt dışında kaldığını ve hangi çiftin insan incelemesine kaldığını görür.
- DeneyNicemleme Kalite Kaybı DeneyiBit genişliği düşerken kalite kaybı her görevde aynı değildir. Nicemlenmiş model dağıtmayı değerlendirenler için taban turu, görev bataryası, kararlılık ve biçim uyumu ölçütleriyle kurulmuş ölçüm düzeni.
- DeneyParçalama Stratejisi KarşılaştırmasıSabit uzunluk, başlık sınırı ve anlamsal parçalama aynı değerlendirme kümesinde nasıl karşılaştırılır? Geri getirme katmanını kuranlar için altın pasaj işaretlemesi, ölçütler ve stratejilerin hangi belge biçiminde zorlandığı.
- Açık KaynakPrompt TokenizerAynı Türkçe metnin farklı tokenleştiriciler tarafından nasıl parçalandığını metnin üzerinde yan yana gösterecek açık kaynak kitin mimari tasarımı. Eklerin nerede kırıldığını ve token ile karakter sayısı arasındaki oranın bağlam ile maliyet hesabına nasıl girdiğini görmek isteyen geliştirici için.
- Açık KaynakRAG Başlangıç ŞablonuBelge kümesini parçalayıp gömen, terim ve vektör aramasını birlikte çalıştıran ve cevabı kullandığı parçalara bağlayan en küçük çalışır RAG kurulumu. Hangi kararın yapılandırmaya bırakıldığını açıkça gösterir.
- DemoReferanslı Cevap DemosuCevabın her cümlesini getirilen belge parçasına bağlayan, dayanağı olmayan cümleyi silmek yerine işaretleyen bir arayüz taslağı. Kaynaklı cevap ifadesinin ekranda ne anlama geldiğini somut olarak görmek isteyenler için.
- DemoSentetik İçerik İşaretleme DemosuÜretilmiş bir görselin veya metnin taşıdığı makine okunur işareti ekranda gösteren, işaretin kırpma ve yeniden kodlama gibi işlemlerden sonra hangi durumla okunduğunu yan yana koyan arayüz denemesi. İçeriğin kökenine bakan editör ve moderasyon ekiplerinin işaretin ne söylediğini ne söylemediğinden ayırması için yazıldı.
- DemoSinaptik Playgroundİstem, bağlam ve örnekleme ayarlarını iki sütunda yan yana deneyen bir yüzeyin arayüz tasarımı. Tek bir çıktının neden kanıt sayılamayacağını gizlemeyip ekranda göstermeyi amaçlar: değişken tek tek yalıtılır, aynı yapılandırma yinelenir, her çıktı kendi ayarlarını üzerinde taşır.
- Açık KaynakTürkçe Metin Normalizasyon KitiTürkçe metni arama ve gömme hattına vermeden önce dengeleyen kit; harf katlaması, ek ayırma ve aksan işlemlerini tek tek açılıp kapatılabilen katmanlara böler. Amacı, normalizasyonun sessizce bilgi silmesini görünür kılmak.
- DeneyTürkçe Tokenleştirme DeneyiAynı içerik Türkçe ve İngilizce yazıldığında token sayısının ayrışması hangi düzenle ölçülür? Paralel metin kurulumu, karşılaştırma tabanı, ölçütler ve bağlam penceresiyle maliyet planı yapanların düştüğü tuzaklar.
- DeneyUzun Bağlamda Bilgi KaybıAynı bilgi bağlam penceresinin farklı yerlerine konduğunda geri çağrılabilirliğinin nasıl değiştiğini gösteren ölçüm düzeni. Uzun istemle çalışan ekipler, pencerenin hangi bölgesini güvenilir sayabileceğini kendi verisi üzerinde görebilir.
- Açık KaynakVeri Kökeni İzleyiciBir eğitim veri kümesine giren her parçanın kaynağını, kullanım iznini ve toplanma amacını eklemeli bir defterde tutan açık kaynak kurulum. Veri kökeni sorusunu kişilerin hafızasından çıkarıp denetlenebilir bir kayda taşımak isteyen veri ve uyum ekipleri için.
Gizlilik
Hesaplayıcılara girdiğiniz metin ve değerler sunucuya gönderilmez; hesaplama tarayıcıda yapılır.