LAB · DEMO
Çok Modlu Arama Demosu
Görsel ve metin sorgusunu aynı arama alanında birleştiren, karışım oranını gizli bir varsayılan yerine kullanıcıya açık bir ayar olarak sunan arayüz taslağı. Karışımın isabeti ne zaman düşürdüğünü ekranda göstermeyi dener.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Çok Modlu Arama Demosu henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Sorgunun görsel ve metin bileşenini ayrı tutan, her sonucun hangi bileşenden geldiğini kart üzerinde yazan bir arama arayüzü taslağı.
Gösterdiği şey#
Aynı gömme uzayında arama yapmak, kullanıcıya resmi de yazıyı da verebilirsin demeyi kolaylaştırır. Kolay olmayan kısım, ikisinin ne oranda karıştığını kullanıcıya anlatmaktır. Taslak sorgunun iki bileşenini ayrı kutularda tutar, sonuç listesinin hangi bileşenden doğduğunu her kartta belirtir ve karışım oranını ekranda bir ayar olarak bırakır.
Arayüz kararları#
| Karar | Neden | Alternatifi neden değil |
|---|---|---|
| Görsel ve metin sorgusu ayrı kutularda | Tek kutuya sıkıştırılan sorgu, sonuç tuhaflaştığında hangi bileşenin sorumlu olduğunu saklar. | Birleşik kutu daha sade görünür ama hata ayıklama işini kullanıcıdan alır. |
| Karışım oranı kullanıcıya açık | Oranı ayar olarak bırakmak, sıralamanın neden bu biçimde çıktığını kullanıcının kendi sorgusunda sınamasına imkân verir; gizli bir varsayılan bu soruyu kapatır. | Tek bir sabit oranın her sorgu türünde iyi çalışması beklenmez; görselin baskın olduğu sorgu ile ad ya da kod arayan sorgunun farklı oranlarda kırılması beklenir, oranı gizlemek bu kırılmayı da gizler. |
| Her kart kaynak bileşenini yazar | Sonucun görsel benzerlikten mi yazı eşleşmesinden mi geldiğini bilmek, listeyi yorumlamanın ön koşuludur. | Tek bir sıralama puanı göstermek listeyi düzenli yapar, bu ayrımı düzleştirir. |
| Benzerlik sıra olarak sunulur | Ham benzerlik değerleri modele özgüdür ve kullanıcıya yanlış bir kesinlik hissi verir. | Değeri olduğu gibi yazmak geliştiriciye yarar, son kullanıcı arayüzünde yanlış okunur. |
| Boş sonuç uydurulmaz | Hiçbir kayıt eşiği geçmediğinde uzak benzerlikleri doldurmak, aramayı çalışıyor gibi gösterir. | Her sorguya sonuç döndürmek listeyi dolu tutar ama güveni tam da sonuçsuz sorgularda tüketir. |
Kullanıcı akışı#
- 1Tek bileşenle başla
Kullanıcı ya görsel yükler ya metin yazar; arayüz önce tek bileşenli sonucu gösterir, karışım sonradan devreye girer.
- 2İkinci bileşeni ekle
Diğer bileşen eklendiğinde liste yeniden sıralanır ve yeri değişen kartlar kısa süre işaretli kalır; neyin değiştiği görünür olur.
- 3Oranı kaydır
Karışım oranı değiştirilirken iki uçtaki sıralama da erişilebilir kalır, böylece oranın etkisi karşılaştırılabilir.
- 4Bir sonucu aç
Kart açıldığında hangi bileşenin bu sonucu yukarı taşıdığı, hangisinin onu aşağı çektiği ayrı satırlarda yazar.
Belirsizlik nasıl gösteriliyor#
Çok modlu aramada kendini en az belli eden durum şudur: liste dolu görünür, ama hiçbir sonuç aslında istenen şey değildir. Arayüz bunu ayrıca söylemek zorundadır, çünkü dolu bir liste kendi başına başarı görüntüsü verir. Taslak bu yüzden sonuçların birbirine yakınlığını da gösterir: sıralama düzse seçimin ayırt ediciliği düşüktür. Eşik ile karışım oranı birlikte sunulur, çünkü biri diğerinin etkisini değiştirir.
- Düz liste uyarısı: baştaki sonuçlar birbirine çok yakınsa arayüz sıralamanın ayırt edici olmadığını yazar
- Modalite çatışması: iki bileşen farklı kümeleri işaret ediyorsa listeler ayrı ayrı sunulur, zorla birleştirilmez
- Eşik altı bölge: eşiği geçmeyen sonuçlar ayrı başlık altında ve isteğe bağlı olarak gösterilir
- Sorgu görselinin okunabilirliği: yüklenen görsel çok küçük veya bulanıksa görsel bileşenin ağırlığı düşürülür ve bu söylenir
- Dil notu: metin bileşeninin dili koleksiyondaki baskın dilden farklıysa kart üzerinde not durur
Sınırlılıklar#
Arkadaki koleksiyon gösterim için derlenmiş dar bir kümedir; dizin büyüdükçe sıralamanın nasıl davranacağı hakkında buradan bir şey çıkarılamaz. Hangi gömme modelinin daha isabetli olduğu taslağın konusu değildir; arayüz model değişimine karşı yansız kurulmuştur. Kişisel veri içeren görsellerle arama ise yetki ve saklama soruları doğurur; bunlar burada hiç ele alınmamıştır.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.