Gecikme bütçesi ve yayına alma korumaları
Uçtan uca süreyi bileşenlere ayırıp her birine bütçe vermeyi, akış ile önbellek ile model boyutu kararlarının gecikmeye ve kaliteye etkisini ayırmayı ve izleme, geri çekilme, onay korumalarını kurmayı öğretir.
Önkoşul: Evaluation, AI Agent
BU DERSİN SONUNDA
- Uçtan uca gecikmeyi bileşenlere ayırıp her bileşene bütçe vermek
- Bir bileşeni hızlandırmak ile seri olanı örtüştürmek arasında seçim yapmak
- Nicemleme ve model boyutu kararlarını doğru eksende tartışmak
- Geri çekilme, onay ve izleme korumalarını yayına almadan önce kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Gecikme tek bir sayı değil bir bütçe tablosudur. Uçtan uca süre — kullanıcının sözünü bitirmesinden sistemin ilk sesini duyurmasına kadar — bileşenlere ayrılır ve her bileşene ayrı bir üst sınır verilir. Bütçe kurulmadan yapılan optimizasyon rastgele hızlandırmadır: hangi bileşenin toplamda kaç birim payı olduğunu bilmeden, kullanıcının hiç fark etmediği yerde kazanç üretirsiniz.
Teori: bütçe, örtüşme ve kuyruk#
Zincirdeki bileşenler şunlardır: devir kararı, kalan sesin çözümlenmesi, niyet ve parametre çıkarımı, gerekiyorsa araç çağrısı, cevabın üretilmesi, sesin sentezlenmesi ve ilk sesin oynatılması. Bir kısmı zorunlu olarak seridir — araç çağrısının sonucu gelmeden cevap üretilemez. Bir kısmı örtüşebilir: konuşma sürerken akışlı çözümleme ilerler, cevabın ilk cümlesi sentezlenirken gerisi üretilmeye devam eder. Bütçe tablosu bu iki sınıfı ayrı gösterdiğinde işe yarar.
Buradan gecikme iyileştirmesinin iki ayrı türü çıkar. Birincisi bir bileşeni hızlandırmak, ikincisi seri olanı örtüşen hâle getirmek. İkincisi çoğu zaman daha büyük kazanç verir, çünkü kullanıcının algıladığı süre son sesin değil ilk sesin gelme süresidir. Cevabı tamamen üretip sonra sentezlemek yerine cümle cümle sentezlemek, toplam işi hiç azaltmadan algılanan gecikmeyi düşürür.
Karar ölçütü ortalama değil kuyruktur. Ortalama süre iyi görünürken turların bir bölümünde beklemenin belirgin biçimde uzaması, konuşmayı ortalamanın ima ettiğinden çok daha fazla bozar; konuşma ritmi tekil gecikmelere duyarlıdır ve uzayan bir boşlukta kullanıcı sistemin kendisini duyup duymadığını sorgular. Bu yüzden bütçe tablosu her bileşen için hem tipik hem üst yüzdelik değerle tutulur ve alarm üst yüzdeliğe bağlanır.
Uygulamada: bütçe tablosu#
| Bileşen | Seri mi | Bütçeyi düşüren karar | Ödünleşim |
|---|---|---|---|
| Devir kararı | Seri | Eşiği kısaltmak, kısmi metne bakmak | Erken kesme riski artar |
| Kalan sesin çözümlenmesi | Kısmen örtüşür | Akışlı çözümleme, kısa kuyruk | Kısmi metin sonradan değişir |
| Niyet ve parametre çıkarımı | Seri | Aday niyetleri daraltmak, isteme az bağlam koymak | Doğru aday listeden düşebilir |
| Araç çağrısı | Seri | Okuma çağrılarını paralelleştirmek ve önbelleğe almak | Bayat veri ve tutarsız sonuç |
| Cevap üretimi | Örtüşebilir | Akışlı üretim, kısa cevap biçimi | Açıklamalar kısalır |
| Ses sentezi | Örtüşebilir | İlk cümleyi ayrı sentezlemek, kalıp cevapları önbelleğe almak | Ton ve vurgu tutarlılığı bozulabilir |
Model boyutu, nicemleme ve önbellek#
Küçük model daha hızlıdır ama her işi kaldırmaz; makul tasarım tek model değil iş dağılımıdır. Niyet sınıflandırması ve parametre çıkarımı kısıtlı çıktı üreten, şemaya bağlı işlerdir ve küçük modelde daha kolay tutar; serbest açıklama ve çok adımlı akıl yürütme ise daha büyük modele bırakılıp akışla örtüştürülür. Nicemleme bu tabloya farklı bir eksenden girer: ağırlıkları daha az bitle temsil ederek bellek kullanımını düşürür. Gecikmeye etkisi iki yoldan gelir: üretim adımı bellek bant genişliğine takılıyorsa daha az bitle okunan ağırlıklar üretimi doğrudan hızlandırır; takılmıyorsa kazanç dolaylıdır ve model belleğe sığdığı için daha yakın bir çalıştırma ortamı ya da daha büyük yığın mümkün olduğunda ortaya çıkar. Her iki durumda da bedel hızdan değil çıktı kalitesindeki bozulmadan ödenir; bu yüzden nicemlenmiş bir modelin kararı, kendi ölçüm kümenizde nicemlenmemiş hâliyle karşılaştırılmadan verilmez.
Karar: yayına alma korumaları#
- 1Onay sınırını çiz
Geri alınamaz her işlem açık onay ister; onay metni işlemi ve parametreleri tekrar eder, 'onaylıyor musunuz' demekle yetinmez.
- 2Geri çekilme yolunu kur
Bileşen zaman aşımına düştüğünde ne olacağı önceden yazılır: kısa bekleme ifadesi, basitleştirilmiş cevap, menüye veya insana devir.
- 3Girdi sınırlarını koda koy
Kullanıcı sözü doğrudan araca parametre olarak geçmez; şema doğrulaması ve değer aralığı kontrolü kodda yapılır.
- 4İzlemeyi tur birimine bağla
Her tur için bileşen süreleri, güven değerleri, ayıklama kararları ve çağrılan araçlar tek kayıtta tutulur.
- 5Kademeli aç
Yeni sürümü önce küçük bir trafik dilimine ver; bütçe tablosunu ve dilimli hata tablosunu karşılaştırdıktan sonra genişlet.
Sık yapılan hata#
En sık hata, gecikmeyi kalite ölçümünden ayrı izlemek. Hızlandırma kararlarının çoğu kaliteden alır: eşiği kısaltmak erken kesme üretir, aday niyetleri daraltmak doğru niyeti dışarıda bırakır, cevabı kısaltmak eksik bilgi verir. İki tablo yan yana okunmazsa bu takaslar görünmez ve sistem ölçülen bir kazanç karşılığında ölçülmeyen bir kayıp biriktirir. İkinci sık hata, izlemeyi yalnızca teknik metriklere kurmak: kullanıcının netleştirme sorusuna cevap vermeden konuşmayı bıraktığı turları saymazsanız, en pahalı arıza biçimi veriye hiç girmez.
LAB · UYGULAMALI ALIŞTIRMA
Bütçe tablosunu ölçüp bir bileşeni örtüştürün
- 1Ürün için kabul edilebilir bekleme süresini tek bir sayı olarak yazın ve bunu bileşenlere bölerek boş bir bütçe tablosu kurun.
- 2Hattınıza her bileşenin başlangıç ve bitiş zamanını tur kimliğiyle kaydeden bir ölçüm ekleyin; bir tur tek satırda görünsün.
- 3Aynı 20 isteği en az üç kez koşturun ve her bileşen için tipik değeri ile en yavaş turları ayrı ayrı çıkarın.
- 4Bütçeyi en çok aşan bileşeni seçin ve onu hızlandırmak yerine örtüştürmeyi deneyin; örneğin cevabın ilk cümlesini gerisi üretilirken sentezleyin.
- 5Değişiklikten sonra aynı koşuyu yineleyin; iki bütçe tablosunun yanına dördüncü bölümde kurduğunuz hata tablosunu da koyup takası görünür kılın.
- 6Zaman aşımında devreye girecek geri çekilme cevabını yazın ve ilgili bileşeni yapay olarak yavaşlatarak bu yolun gerçekten çalıştığını doğrulayın.
Beklenen çıktı
Bileşen bazında tipik ve en yavaş süreleri gösteren bir bütçe tablosu, bir örtüştürme değişikliğinin gecikme ve hata tarafıyla birlikte önce-sonra karşılaştırması ve yapay yavaşlatmayla doğrulanmış bir geri çekilme yolu.
Sık sorulan sorular
Gecikmeyi sunucuda mı istemcide mi ölçmeliyim?
İkisinde de, ama karar istemci ölçümüne bağlanır. Kullanıcının yaşadığı süre ağ gidiş-dönüşünü, ses tamponlamayı ve oynatmanın başlamasını da içerir; sunucu kaydı bunları görmez. Sunucu ölçümü bileşen ayrıştırması için gereklidir, istemci ölçümü ise bütçenin gerçekten karşılandığını söyleyen tek kaynaktır.
Bekleme ifadesi (dolgu sesi) gecikmeyi çözer mi?
Gecikmeyi değil, algılanan sessizliği çözer; dozu kaçarsa güveni bozar. İşe yaradığı yer, süresi öngörülemeyen seri bir bileşenin beklendiği andır. İşe yaramadığı yer, her tura otomatik eklendiği durumdur: kullanıcı kalıbı öğrenir ve ifade bilgi taşımaz hâle gelir. Dolgu, gerçek bir bütçe aşımını gizlemek için kullanılmamalı.
Onay adımı akışı yavaşlatıyor, kaldırabilir miyim?
Onayı kaldırmak yerine kapsamını daraltın. Ölçüt işlemin geri alınabilirliği ve etkisidir: geri alınabilir ve etkisi kullanıcının kendisiyle sınırlı bir işlem onaysız yürüyebilir, sonucu kullanıcıya bildirilir. Geri alınamaz veya üçüncü bir kişiyi etkileyen işlemde onay bir gecikme kalemi değil, sistemin tanımının parçasıdır.
LEARN
Konuşma Arayüzü Geliştirici rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.