BUILD
Sinaptik Lab
Markadaki 'Lab' gerçek olmalı. Burada hesaplayıcılar, deneyler ve açık kaynak araçlar yaşar — yazının değil çalışan şeyin olduğu yer.
- Proje
- 50
- Yayında
- 46
- Geliştiriliyor
- 4
- Araştırma yayını
- 0
01ARAÇ
Hesaplayıcılar ve araçlar
Bir kararı hızlandıran küçük araçlar. Bunlar aynı zamanda doğal bağlantı varlıklarıdır.
- AI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- Ajan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- Bağlam Penceresi Hesaplayıcıİstem, bağlam ve cevabın bağlam bütçesini nasıl paylaştığını gösterir.
- Değerlendirme Örneklem BüyüklüğüBir değerlendirme kümesinin ne kadar büyük olması gerektiğini, hedeflenen güven aralığı genişliği ve ayırt edilmek istenen en küçük fark üzerinden hesaplar. Eldeki etiketli küme girildiğinde ters yönde de çalışır: o kümeyle hangi büyüklükteki bir farkın gürültüden ayrılabileceğini söyler.
- Gömme Depolama HesaplayıcıParça sayısı, vektör boyutu ve sayı tipinden bir vektör dizininin kapladığı yeri; HNSW grafının bu yerin ne kadarını tuttuğunu ve aylık yeniden dizinleme yükünü hesaplar. Dizini kurmadan önce bellek ve mimari kararını sayıya bağlamak isteyen ekipler için.
- GPU Bellek HesaplayıcıModel boyutu ve niceleme seçimine göre gereken bellek tahmini.
- İnsan Onay KapasitesiGünlük karar hacmi, otomatik geçiş oranı ve ortalama inceleme süresinden insan onayı için gereken inceleyici sayısını ve kuyruk doluluğunu çıkarır. Otomasyon eşiğine karar verecek ürün ve uyum ekipleri için, kuyruğun hangi noktada darboğaz olduğunu gösterir.
- İstem Bütçesi DağıtıcıBağlam penceresini sistem istemi, örnekler, getirilen parçalar, konuşma geçmişi ve çıktı payına böler; taşmaya sebep olan payı adlandırıp ilk hamleyi söyler. İstem bütçesini dağılım olarak görmek isteyen ekipler için.
- Karışıklık Matrisi ve EşikKarışıklık matrisinin dört sayısından kesinlik, duyarlılık, özgüllük ve F1 üretir; yanlış pozitif ile yanlış negatifin maliyeti farklı olduğunda karar eşiğinin nereye kayması gerektiğini gösterir. Sınıflandırıcı devreye almadan önce hangi hatayı kabul ettiğini yazıya dökmek isteyen ekipler için.
- LLM Maliyet HesaplayıcıTrafik hacmine göre aylık çıkarım maliyetini modelleyen hesaplayıcı.
- Nicemleme Bellek ve ÖdünleşimParametre sayısı ve bit genişliğinden ağırlık belleğini, KV önbelleğinin payını ve nicemlemenin toplamda gerçekten ne kadar yer açtığını hesaplar. Bir modeli sıkıştırmaya karar vermeden önce kazancın nerede eridiğini görmek isteyen altyapı ekipleri için.
- RAG Chunk HesaplayıcıDoküman boyutuna göre parça uzunluğu ve örtüşme önerisi üretir.
- Token HesaplayıcıMetnin token karşılığını ve tahmini maliyetini anında hesaplar.
- Toplu İşlem VerimiYığın boyutu, istek başına token ve eşzamanlı kopya sayısından bir çıkarım servisinin kapasitesini, doluluğunu ve istek başına gecikmesini hesaplar. Yığını büyütmek kuyruk beklemesini kısaltırken dolma beklemesini uzattığı için gecikmeyi en küçükleyen yığını tarayarak bulur.
- Uçtan Uca Gecikme BütçesiBir RAG yanıtının süresini getirme, yeniden sıralama, ilk token beklemesi, üretim ve son işlem paylarına ayırıp toplar. Hedef bütçeye sığıp sığmadığını, bütçenin en büyük payını hangi adımın aldığını ve sığmak için neyin değişmesi gerektiğini gösterir.
- Veri Saklama TakvimiGünlük kayıt hacmi, kayıt başına boyut ve saklama süresinden durağan durumda depoda duran hacmin tepe değerini ve silme takvimini çıkarır. Silme işinin çalışma aralığının politikada yazan süreyi kaç gün aştığını ayrı bir kalem olarak gösterir.
- Veri Seti Bölme HesaplayıcıEğitim, doğrulama ve test paylarını girdiğinizde en küçük sınıftan test kümesine kaç örnek düştüğünü, katmanlı bölmenin ne zaman zorunlu hâle geldiğini ve test kümesinin ölçebileceği en küçük farkı hesaplar. Sınıf dengesizliği olan veriyle çalışan ve skorunun ne kadarının şans olduğunu bilmek isteyen ekipler için.
- Yeniden Sıralama EtkisiAday havuzu (top-n) ile nihai seçim (top-k) arasındaki oranın bağlam yükünü kaç token düşürdüğünü, yeniden sıralamanın eklediği sürenin ön dolumdan kazanılan süreyi karşılayıp karşılamadığını hesaplar. RAG hattında top-n/top-k dengesini kurarken kullanılır.
02DENEY
Deneyler
- Ajan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Akıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
- Araç Çağırma GüvenilirliğiAraç şeması kademeli karmaşıklaştırıldığında çağrı hatalarının hangi türde çoğaldığını izleyen ölçüm düzeni. Araç kümesini büyütmeyi planlayan ekipler için bozuk argüman üretimi, tek bir hata sayısı yerine sınıflara ayrılarak yakalanır.
- Embedding GörselleştiriciYakındaYüksek boyutlu gömme vektörlerini iki boyuta indirgerken komşuluk yapısının ne kadarının hayatta kaldığını sınayan bir ölçüm düzeni. Haritada yan yana duran iki noktanın gerçekten anlamsal komşu mu, yoksa indirgemenin yerleştirmesi mi olduğunu ayırt etmek isteyen okur için.
- Gömme Modeli KarşılaştırmasıTürkçe içerikte gömme modeli seçiminin geri getirme niteliğine etkisini sınamak için kurulmuş karşılaştırma düzeni. Boyut, dil kapsamı ve işletme maliyeti arasındaki ödünleşimi aynı dizin ve aynı sorgu kümesi üzerinde görünür kılar.
- Halüsinasyon Ölçüm DüzeniBir cevabın hangi iddiasının verilen bağlamda karşılığı olmadığını iddia düzeyinde saptamak için kurulmuş ölçüm düzeni. Erişimli üretim hattı kuran ekiplere, dayanaksızlığı tek bir toplam puan yerine iddia bazında ayrıştırma yolu sunar.
- Hibrit Arama Ağırlık DeneyiSözcük tabanlı ve anlamsal skorun harmanlanma ağırlığını sorgu sınıfları kırılımında taramak için kurulan deney düzeni. Arama katmanı kuran ekipler için ölçütler ve beklenen kırılma noktaları.
- İstem Enjeksiyonu Saldırı DeneyiDolaylı istem enjeksiyonunu araç kullanan bir ajanda izole ortamda sınama düzeni. Güvenlik incelemesi yapanlar için taşıyıcı listesi, savunma katmanları ve durdurmanın hangi katmana ait olduğunun nasıl ayrıştırıldığı.
- LLM Yargıç KalibrasyonuModel yargıcının kararının insan etiketiyle uyumunu ölçmek ve konum, uzunluk, biçim yanlılıklarını ayrı ayrı sınamak için kurulan düzen. Otomatik değerlendirmeye geçmeden önce okunması gereken kayıt.
- Model SeçiciKullanım senaryosu ve kısıtlara göre model kısa listesi önerir.
- Nicemleme Kalite Kaybı DeneyiBit genişliği düşerken kalite kaybı her görevde aynı değildir. Nicemlenmiş model dağıtmayı değerlendirenler için taban turu, görev bataryası, kararlılık ve biçim uyumu ölçütleriyle kurulmuş ölçüm düzeni.
- Parçalama Stratejisi KarşılaştırmasıSabit uzunluk, başlık sınırı ve anlamsal parçalama aynı değerlendirme kümesinde nasıl karşılaştırılır? Geri getirme katmanını kuranlar için altın pasaj işaretlemesi, ölçütler ve stratejilerin hangi belge biçiminde zorlandığı.
- Türkçe Tokenleştirme DeneyiAynı içerik Türkçe ve İngilizce yazıldığında token sayısının ayrışması hangi düzenle ölçülür? Paralel metin kurulumu, karşılaştırma tabanı, ölçütler ve bağlam penceresiyle maliyet planı yapanların düştüğü tuzaklar.
- Uzun Bağlamda Bilgi KaybıAynı bilgi bağlam penceresinin farklı yerlerine konduğunda geri çağrılabilirliğinin nasıl değiştiğini gösteren ölçüm düzeni. Uzun istemle çalışan ekipler, pencerenin hangi bölgesini güvenilir sayabileceğini kendi verisi üzerinde görebilir.
03AÇIK KAYNAK
Açık kaynak
- Ajan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- Değerlendirme Hattı ŞablonuBir istem veya model değişikliğini önceki sürümle aynı veri kümesi üzerinde koşturan ve her koşuyu kalıcı kayda geçiren minimal değerlendirme hattı. Sürüm kararı verilirken neyin değiştiğinin sorulabilir olması için kurulur.
- İstem Sürümleme Kitiİstemleri kod gibi sürümleyen, her değişikliği gerekçesiyle kayda geçiren ve yayındaki sürümü tek adımda geri alınabilir tutan kit. Kimin neyi neden değiştirdiğinin sorulabilir olması için kurulur.
- Kod ÖrnekleriYakındaRehberlerde anlatılan erişimli üretim ve araç çağıran ajan mimarilerinin en küçük çalışır karşılıklarını tek bir ağaç altında toplayan derlemenin tasarımı. Her örneğin hangi kararı yalıttığı, neyin bilinçli olarak dışarıda bırakıldığı ve üretime taşınırken nelerin eklenmesi gerektiği ayrıca yazılır.
- Koruma Katmanı KitiGirdi ve çıktı tarafında birbirinden bağımsız kontroller kuran, her kararın gerekçesini kayda geçiren koruma katmanı. Tek bir filtrenin yeterli sayılmaması gerektiği varsayımıyla tasarlanmıştır.
- Model Çağrısı Maliyet EtiketlemeModel çağrılarını çağıran iş akışı, ortam ve maliyet merkeziyle etiketleyen; sağlayıcı faturasını bu deftere karşı uzlaştıran açık kaynak kit. Ay sonundaki tutarın hangi akıştan doğduğunu sorabilmek isteyen ekipler için.
- Prompt TokenizerYakındaAynı Türkçe metnin farklı tokenleştiriciler tarafından nasıl parçalandığını metnin üzerinde yan yana gösterecek açık kaynak kitin mimari tasarımı. Eklerin nerede kırıldığını ve token ile karakter sayısı arasındaki oranın bağlam ile maliyet hesabına nasıl girdiğini görmek isteyen geliştirici için.
- RAG Başlangıç ŞablonuBelge kümesini parçalayıp gömen, terim ve vektör aramasını birlikte çalıştıran ve cevabı kullandığı parçalara bağlayan en küçük çalışır RAG kurulumu. Hangi kararın yapılandırmaya bırakıldığını açıkça gösterir.
- Türkçe Metin Normalizasyon KitiTürkçe metni arama ve gömme hattına vermeden önce dengeleyen kit; harf katlaması, ek ayırma ve aksan işlemlerini tek tek açılıp kapatılabilen katmanlara böler. Amacı, normalizasyonun sessizce bilgi silmesini görünür kılmak.
- Veri Kökeni İzleyiciBir eğitim veri kümesine giren her parçanın kaynağını, kullanım iznini ve toplanma amacını eklemeli bir defterde tutan açık kaynak kurulum. Veri kökeni sorusunu kişilerin hafızasından çıkarıp denetlenebilir bir kayda taşımak isteyen veri ve uyum ekipleri için.
04DEMO
Demolar
- Ajan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- Belge Anlama DemosuTaranmış bir belgeden alan çıkarırken düzen haritasını, alan güvenini ve insana devir noktasını aynı ekranda gösteren arayüz taslağı. Tablo ile imza bloğunun neden aynı muameleyi göremeyeceğini anlatır.
- Çok Modlu Arama DemosuGörsel ve metin sorgusunu aynı arama alanında birleştiren, karışım oranını gizli bir varsayılan yerine kullanıcıya açık bir ayar olarak sunan arayüz taslağı. Karışımın isabeti ne zaman düşürdüğünü ekranda göstermeyi dener.
- Kırmızı Takım Panosu DemosuBir dil modeli uygulamasına yönelik saldırı senaryolarının, dokundukları yüzeyin, devrede olan savunmanın ve denendikleri sürümün tek yerde kayda geçtiği pano arayüzü. Kapanmamış bulguların sürüm değişimlerinde görünür kalmasını isteyen güvenlik ve ürün ekipleri için tasarlandı.
- Model Sürüm Farkı DemosuSabit bir girdi kümesinin iki model sürümünden geçmiş çıktılarını eşleştirip yan yana koyan, farkın hangi ölçütle tanımlandığını ekranda açık tutan karşılaştırma arayüzü. Sürüm yükseltmesine bakan bir ekip burada neyin değiştiğini, neyin ölçüt dışında kaldığını ve hangi çiftin insan incelemesine kaldığını görür.
- Referanslı Cevap DemosuCevabın her cümlesini getirilen belge parçasına bağlayan, dayanağı olmayan cümleyi silmek yerine işaretleyen bir arayüz taslağı. Kaynaklı cevap ifadesinin ekranda ne anlama geldiğini somut olarak görmek isteyenler için.
- Sentetik İçerik İşaretleme DemosuÜretilmiş bir görselin veya metnin taşıdığı makine okunur işareti ekranda gösteren, işaretin kırpma ve yeniden kodlama gibi işlemlerden sonra hangi durumla okunduğunu yan yana koyan arayüz denemesi. İçeriğin kökenine bakan editör ve moderasyon ekiplerinin işaretin ne söylediğini ne söylemediğinden ayırması için yazıldı.
- Sinaptik PlaygroundYakındaİstem, bağlam ve örnekleme ayarlarını iki sütunda yan yana deneyen bir yüzeyin arayüz tasarımı. Tek bir çıktının neden kanıt sayılamayacağını gizlemeyip ekranda göstermeyi amaçlar: değişken tek tek yalıtılır, aynı yapılandırma yinelenir, her çıktı kendi ayarlarını üzerinde taşır.
Neden Lab?
Bir platform yalnızca yazı üretiyorsa, iddiaları test edilemez kalır. Lab; hesaplama araçları, açık kaynak kod ve deneylerle o iddiaları elle tutulur hale getirir. Aynı zamanda bu varlıklar, içerikten daha güçlü bağlantı kaynaklarıdır.