Operations
LLM-as-judge, çıktıları puanlamak için başka bir dil modelini hakem olarak kullanmaktır; insan değerlendirmesinden hızlı ve ucuz olduğu için açık uçlu görevlerde yaygınlaştı. Ancak hakem modelin kendi eğilimleri vardır: uzun yanıtı, kendi ailesinden çıktıyı ve listede önce gördüğü seçeneği kayırabilir, ayrıca kendi bilgi hatalarını puanına taşır. Kapsam: hakem prompt'u yazımı, ikili karşılaştırma ile rubrik kullanımı, konum ve uzunluk yanlılığına karşı önlemler, hakemin insan örneklemiyle kalibrasyonu.
Bir dil modelinin başka bir modelin çıktısını puanlaması, değerlendirmeyi otomatikleştirmenin en yaygın yolu oldu. Ama yargıç da bir modeldir ve kendi yanlılıklarını taşır: uzun cevabı, kendinden emin tonu ve kendi ailesinden gelen çıktıyı tercih edebilir. İnsan etiketine karşı kalibre edilmemiş bir yargıç ölçümü otomatikleştirmez; yanlılığı her koşuya yayarak ölçeklendirir.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Modelin nihai cevaba gitmeden önce ara adımları açıkça üretmesini isteyen istem tekniğidir; çok adımlı görevlerde doğruluğu artırabilir.
Öğrendiği veri dağılımından yeni metin, görsel, ses, video veya kod örnekleri üreten model ailesinin genel adıdır.
Bir dil modelinden istenen davranışı almak üzere girdinin yapısını, bağlamını ve kısıtlarını sistematik biçimde tasarlama pratiğidir.
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
Cevabı doğrudan üretmek yerine, çıkarım anında daha fazla hesaplama harcayarak ara adımlar üreten ve bu adımlar üzerinden sonuca varan dil modeli ailesidir.
Aynı konunun öğretim ve ölçüm formatları.
Testler
