Otomatik İstem Mühendisi (APE)
Resim Kaynağı: Zhou ve diğerleri, (2022) (opens in a new tab)
Zhou ve diğerleri, (2022) (opens in a new tab) otomatik istem mühendisliğini (APE) otomatik talimat oluşturma ve seçim için bir çerçeve olarak önerir. Talimat oluşturma problemi, büyük dil modelini kullanarak aday çözümler üzerinde oluşturma ve arama yapılmasıyla ele alınan doğal dil oluşumu olarak çerçevelenir.
İlk adımda, bir görev için talimat adayları oluşturmak üzere çıktı gösterimleri verilmiş bir büyük dil modeli (bir çıkarım modeli olarak) kullanılır. Bu aday çözümler, arama işlemini yönlendirecektir. Talimatlar, bir hedef model kullanılarak uygulanır ve ardından en uygun talimat, hesaplanan değerlendirme puanlarına dayalı olarak seçilir.
APE, insan tarafından geliştirilmiş "Adım adım düşünelim" istemiinden (Kojima ve ark., 2022 (opens in a new tab)) daha iyi bir sıfır atış CoT istemi bulur.
"Bu konuyu adım adım çözelim ki doğru yanıtı alalım." ifadesi, düşünme zinciri mantığını çağrıştırır ve MultiArith ve GSM8K referansları üzerindeki performansı iyileştirir:
Resim Kaynağı: Zhou ve diğerleri, (2022) (opens in a new tab)
Bu makale, otomatik olarak istemleri optimize etme fikri ile ilgili önemli bir konuya değinir ki bu da istem mühendisliği ile ilgilidir. Bu rehberde bu konuya derinlemesine girmedik ancak konuyla ilgileniyorsanız aşağıda birkaç önemli makale bulabilirsiniz:
- AutoPrompt (opens in a new tab) - gradyan yönlendirmeli arama temelli bir yaklaşım önererek çeşitli görevler için otomatik olarak istem oluşturmayı önerir.
- Önek Ayarlama (opens in a new tab) - NLG görevleri için eğitilebilir sürekli bir önek ekleyerek ince ayarlamaya hafif bir alternatif sunar.
- İstem Ayarlama (opens in a new tab) - geriye yayılma yoluyla yumuşak istemler öğrenme mekanizması önerir.