LAB · DEMO
Sinaptik Playground
İstem, bağlam ve örnekleme ayarlarını iki sütunda yan yana deneyen bir yüzeyin arayüz tasarımı. Tek bir çıktının neden kanıt sayılamayacağını gizlemeyip ekranda göstermeyi amaçlar: değişken tek tek yalıtılır, aynı yapılandırma yinelenir, her çıktı kendi ayarlarını üzerinde taşır.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Sinaptik Playground henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Tek bir çıktının kanıt sayılamayacağını arayüzün kendisinde görünür kılmayı amaçlayan, henüz kurulmamış bir karşılaştırma yüzeyinin arayüz kararları.
Gösterdiği şey#
Bir istemi değiştirip çıktının daha iyi geldiğini görmek, değişikliğin işe yaradığını göstermez: örnekleme rastgeleliği tek koşuda farkı taklit eder. Bu yüzey yanılgıyı ortadan kaldırmayı değil, ekranda görünür kılmayı hedefler. Aynı girdi iki yapılandırmayla yan yana çalıştırılır, her çıktı kendi ayarlarını üzerinde taşır ve aynı yapılandırma birden çok kez koşturulabilir. Gösterilen şey bir cevap değil, cevabın ne kadar oynadığıdır.
Arayüz kararları#
| Karar | Neden | Alternatifi neden değil |
|---|---|---|
| Tek girdi, iki yapılandırma sütunu | Bir ayarın etkisi ancak aynı girdide görülebilir | Tek sütunlu deneme, çıktı farkını ayar farkından ayırt edemez |
| Yapılandırma damgası çıktının üzerinde | Kaydedilen çıktı, hangi ayarla üretildiğini taşımadan okunamaz | Ayrı bir ayar paneli, çıktı kopyalanınca bağlamı kaybeder |
| Aynı yapılandırma varsayılan olarak birkaç kez koşar | Örnekleme rastgeleliği tek koşuda görünmez | Tek koşu, oynamayı ayar etkisine yazma hatasını davet eder |
| Metin farkı isteğe bağlı açılır | Fark bazı işlerde asıl bilgi, bazılarında gürültüdür | Sürekli açık fark gösterimi, uzun çıktılarda okumayı bozar |
| Sistem istemi ayrı ve ölçülü alanda | Bağlam penceresinde ne kadar yer tuttuğu kararı etkiler | Tek gövdeye gömülen sistem istemi, bu payı gizler |
Kullanıcı akışı#
- 1Girdiyi sabitle
Metin ve sistem istemi bir kez yazılır; iki sütun da aynı girdiyi okur, böylece fark yalnızca ayardan gelebilir.
- 2Tek değişkeni ayır
Sağ sütunda yalnızca bir ayar değiştirilir. İki ayar birlikte değişirse farkın kaynağı geri kazanılamaz.
- 3Aynı yapılandırmayı yinele
Her sütun birkaç kez koşturulur; çıktılar üst üste durur ve sütunun kendi içindeki oynama görünür hale gelir.
- 4Kaydı dışarı al
Seçilen koşular yapılandırma damgası ve koşu sayısıyla birlikte kopyalanır; damgasız çıktı dışarı verilmez.
Belirsizlik nasıl gösteriliyor#
Belirsizlik ayrı bir panele saklanmaz, çıktının yanında durur. Bir sütunun içindeki koşular arasındaki fark görülmedikçe okuyucu tek çıktıyı sonuç sanar; arayüz bu yüzden yinelemeyi varsayılan davranış yapar. Aşağıdaki işaretler bu amaçla tasarlandı.
- Her çıktının başında yapılandırma damgası: yalnızca model adı değil, seçilen ayarların tamamı
- Aynı sütundaki yinelenen koşular katlanmış liste halinde; tek koşu gösterilse bile kaçının koşulduğu yazılı
- Koşular arasında değişen bölümler isteğe bağlı olarak işaretlenir; kapalıyken metin akışı bozulmaz
- Örnekleme ayarı belirlenimci değilse sütun başlığında bunu söyleyen bir not
- Panoya kopyalanan çıktı, damgası ve koşu sayısı olmadan çıkmaz
Sınırlılıklar#
Bu yüzey bir değerlendirme aracı değildir: yan yana iki çıktı bir ölçüm yapmaz, yalnızca farkı gösterir. Bir yapılandırmanın diğerinden iyi olduğu kararı burada değil, örnek kümesi üzerinde koşan ayrı bir değerlendirme düzeninde verilir. Anlatılan sütun düzeninin çalışan bir karşılığı da bulunmuyor; buradaki kararlar uygulanmadan önce yazıldı.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.