Active-Prompt

Методы цепочки мыслей (CoT) полагаются на фиксированный набор аннотированных человеком образцов. Проблема заключается в том, что эти образцы могут оказаться не наиболее эффективными примерами для различных задач. Чтобы решить эту проблему, Diao и др., (2023) (opens in a new tab) недавно предложили новый подход к формулировке запросов, называемый Active-Prompt, который позволяет адаптировать LLM к различным задачам с использованием специфичных примеров (аннотированных с использованием человеком разработанной цепочки мыслей).

Ниже приведена иллюстрация данного подхода. Первый шаг заключается в запросе LLM с несколькими примерами CoT или без них. Для набора обучающих вопросов генерируется k возможных ответов. Вычисляется метрика неопределенности на основе этих k ответов (используется показатель расхождения). Наиболее неопределенные вопросы выбираются для аннотации людьми. Затем новые аннотированные образцы используются для вывода каждого вопроса.

Источник изображения: Diao и др., (2023) (opens in a new tab)