İstem mühendisliği bitmiyor, bağlam mühendisliğine dönüşüyor

Tez#

İstem mühendisliğinin ilk dönemi büyük ölçüde ifade biçimiyle ilgiliydi: hangi kelime kalıbı daha iyi sonuç veriyor, rol atamak işe yarıyor mu, adım adım düşünmeyi söylemek gerekiyor mu, kibar olmak fark ediyor mu. Bu dönemin bulgularının önemli bir bölümü artık geçerli değil — modeller talimat takip etmede belirgin biçimde iyileşti ve hileler gereksizleşti.

Ama buradan "istem mühendisliği bitti" sonucu çıkmıyor. Çıkan sonuç, işin daha derin bir katmana kayması. Bugün bir çıktının kalitesini belirleyen şey, talimatın nasıl yazıldığı değil bağlamın nasıl kurulduğu: hangi belgeler pencereye giriyor, hangi sırayla yerleştiriliyor, ne kadar kırpılıyor, önceki turların çıktısı ne kadar taşınıyor, araç sonuçları nasıl özetleniyor. Bunların her biri bir mühendislik kararı ve etkileri ifade biçimi tercihlerinden büyük. İş adını değiştirdi, ağırlığını kaybetmedi.

Bağlam: neyin geçerliliği kalktı, neyin arttı#

Tablo, iki dönemin ilgi alanlarını karşılaştırıyor. Sol taraf küçülüyor, sağ taraf büyüyor.

Üçüncü satır bir nüans taşıyor. Örnek gösterme hâlâ etkili ama işlevi değişti: eskiden modele görevi anlatmak içindi, şimdi çıktının biçimini ve sınır durumlardaki davranışı sabitlemek için. Yani örnekler bir öğretme aracı olmaktan çıkıp bir sözleşme aracına dönüştü — ve bu, kaç örnek gösterileceğini de değiştiriyor: az sayıda ama sınır durumları kapsayan örnekler, çok sayıda benzer örnekten iyi sonuç veriyor.

Kanıt: bağlam mühendisliğinin kararları#

Bağlam mühendisliği bir yazım işi değil, bir dizi ölçülebilir karar. Aşağıdakiler bir sistemde tek tek ayarlanması gereken kalemler.

• Bağlam bütçesi: pencereye ne kadar konacak? Pencereyi doldurmak kaliteyi artırmıyor, gecikmeyi ve maliyeti artırıyor.
• Seçim ölçütü: hangi parçalar girecek? Benzerlik tek ölçüt değil; tazelik, kaynak güvenilirliği ve çeşitlilik de ölçüt.
• Sıralama: en ilgili parça nereye konacak? Bağlamın ortasındaki bilgi daha kolay kaçırılıyor.
• Kırpma kuralı: sığmadığında ne atılacak? Bu karar bir yardımcı fonksiyona bırakıldığında kimse ne atıldığını bilmiyor.
• Tur taşıma: önceki turların ne kadarı taşınacak? Sınırsız taşıma pencereyi dolduruyor ve kritik bilgiyi dışarı itiyor.
• Araç çıktısı özetleme: uzun araç sonuçları nasıl kısaltılacak? Özetleme kaybı kaydedilmediğinde hata ayıklanamıyor.
• Yinelenen içerik ayıklama: aynı bilgiyi taşıyan parçalar pencerede yer harcıyor ve çeşitliliği düşürüyor.

Birinci madde en yaygın yanlış varsayımı düzeltiyor: büyük bağlam penceresi, pencereyi doldurmak için bir davet değil. Pencereye daha çok belge koymak, ilgili belgenin bulunma olasılığını artırırken modelin dikkatini de dağıtıyor; ayrıca gecikmeyi ve maliyeti doğrudan büyütüyor. Bağlam bütçesi bu yüzden bir kısıt değil bir tasarım parametresi ve deneyle ayarlanması gereken bir sayı.

Mekanizma: neden yerleştirme önemli#

Bağlam bileşiminin etkisi rastgele değil; belirli örüntüler izliyor ve bu örüntüler mühendislik kararlarını yönlendiriyor.

En bilinen örüntü konum etkisi: bağlamın başındaki ve sonundaki bilgi, ortasındakinden daha güvenilir biçimde kullanılıyor. Pratik sonucu şu — en kritik belge ortada bırakılmamalı ve talimat genellikle sonda tekrar edilmeli. İkinci örüntü doluluk etkisi: pencere doldukça her parçanın etkisi seyreliyor, dolayısıyla beş ilgili parça, elli parçanın içine karışmış beş ilgili parçadan iyi sonuç veriyor. Üçüncü örüntü çelişki etkisi: bağlamda birbiriyle çelişen iki kaynak bulunduğunda model genellikle bunu belirtmiyor, birini seçiyor ve seçimin gerekçesi görünmüyor. Bu üçüncüsü en az bilinen ve en tehlikeli olan: çelişkili bağlam, yanlış cevabı kaynaklı bir cevap gibi sunuyor. Üç örüntünün hiçbiri istemin ifade biçimiyle ilgili değil ve hiçbiri model iyileştikçe kendiliğinden kaybolmuyor.

Karşı görüş#

Üç itiraz var. Birincisi: modeller uzun bağlamda daha iyi hâle geliyor; konum etkisi zamanla kaybolacak. İkincisi: bağlam seçimi geri getirme mühendisliğinin işi, istem mühendisliğinin değil — adlandırma tartışması gereksiz. Üçüncüsü: bu işler zaten yapılıyor; ayrı bir disiplin adına ihtiyaç yok.

İstem üzerinde haftalarca oynadık, kalite oynamadı. Sonra pencereye giren parça sayısını yirmiden altıya düşürdük ve doğruluk belirgin biçimde yükseldi. Sorun istemde değildi.

Birinci itiraz izlenmeye değer ama doluluk ve çelişki etkileri konum etkisinden bağımsız ve onlar kaybolmuyor: pencereye çelişkili iki kaynak koyduğunuzda model bunu belirtmiyor ve bu bir kapasite sorunu değil. İkinci itiraz haklı bir noktaya değiniyor — sınırlar bulanık — ama pratik sonuç aynı: iş, istem metnini düzenlemekten bağlam hattını tasarlamaya kaydı ve bu hattı kim tasarlıyorsa kaliteyi o belirliyor. Üçüncü itiraz ise sahada doğru değil; alıntının gösterdiği durum tipik: ekipler haftalarca istem üzerinde çalışıyor çünkü değişkeni orada arıyor. Adlandırma, doğru değişkene bakılmasını sağladığı ölçüde işe yarıyor.

Sınırlar ve belirsizlik#

Bu analiz bir bağlam bütçesi değeri önermiyor; değerin deneyle bulunması gerekiyor.

• Doğru parça sayısı göreve bağlı: alıntıdaki sayılar tek bir sistemin sonucu, bir kural değil.
• Konum etkisinin büyüklüğü modele bağlı: farklı modellerde farklı ölçülüyor.
• Çelişki davranışı ölçülmemiş: modellerin çelişkili bağlamda nasıl davrandığına dair sistematik ölçüm sınırlı.
• Özetleme kaybı ölçümü zor: araç çıktısı özetlenirken neyin kaybolduğunu izlemek ek altyapı gerektiriyor.

Sonuç#

İstem mühendisliğinin ifade biçimiyle ilgili bölümü gerçekten küçüldü ve bu iyi bir gelişme: modeller ne istediğinizi anlamak için hile gerektirmiyor. Ama çıktı kalitesini belirleyen değişken ortadan kalkmadı, yer değiştirdi.

Bugün belirleyici olan bağlamın bileşimi: bütçe, seçim ölçütü, sıralama, kırpma kuralı, tur taşıma, araç çıktısı özetleme ve yinelenen içerik ayıklama. Yedisi de ölçülebilir kararlar ve hiçbiri model iyileştikçe kendiliğinden çözülmüyor. Bir ekip haftalarca istem metni üzerinde çalışıp kalite oynamıyorsa, bakılması gereken değişken genellikle burada duruyor.

Ne yapmalı?#

1. 1Bağlam bütçesini bir parametre yapın

   Pencereyi doldurmak kaliteyi artırmıyor. Doğru parça sayısı deneyle bulunuyor.

2. 2Seçim ölçütünü çeşitlendirin

   Benzerlik tek ölçüt değil; tazelik, kaynak güvenilirliği ve çeşitlilik de hesaba girmeli.

3. 3En kritik parçayı ortada bırakmayın

   Bağlamın başı ve sonu daha güvenilir kullanılıyor; talimat sonda tekrar edilebilir.

4. 4Kırpma kuralını görünür kılın

   Bir yardımcı fonksiyona bırakıldığında kimse ne atıldığını bilmiyor; ne atıldığı kaydedilmeli.

5. 5Çelişkiyi tespit edin

   Çelişkili iki kaynak varsa model bunu belirtmiyor, birini seçiyor. Tespit sistem tarafında yapılmalı.

6. 6Yinelenen parçaları ayıklayın

   Aynı bilgiyi taşıyan parçalar pencerede yer harcıyor ve çeşitliliği düşürüyor.