Настройки LLM

При работе с промптами вы взаимодействуете с LLM с помощью API или непосредственно. Вы можете настроить несколько параметров, чтобы получить различные результаты для ваших промптов.

Температура — Вкратце, чем ниже значение температуры, тем более детерминированными будут результаты в смысле того, что будет выбран самый вероятный следующий токен. Увеличение температуры может привести к большей случайности, что способствует более разнообразным или творческим результатам. Вы фактически увеличиваете веса других возможных токенов. В плане применения, для задач, связанных с ответами на вопросы на основе фактов, рекомендуется использовать более низкое значение температуры, чтобы стимулировать более точные и краткие ответы. Для генерации стихов или других творческих задач может быть полезно увеличить значение температуры.

Top_p — Аналогично, с помощью top_p, техники сэмплирования с использованием температуры, называемой сэмплированием ядра, вы можете контролировать, насколько детерминированной будет модель в генерации ответа. Если вы ищете точные и фактические ответы, установите низкое значение. Если вы ищете более разнообразные ответы, увеличьте значение. Общая рекомендация заключается в том, чтобы изменять только один параметр, а не оба.

Максимальная длина — Вы можете управлять количеством токенов, генерируемых моделью, регулируя максимальную длину. Указание максимальной длины помогает предотвратить длинные или ненужные ответы и контролировать затраты.

Стоп-последовательности — это строка, которая останавливает модель от генерации токенов. Указание последовательности остановки — это еще один способ контролировать длину и структуру ответа модели. Например, вы можете указать модели генерировать списки, содержащие не более 10 элементов, добавив «11» в качестве стоп-последовательности.

Штраф за частоту — Штраф за частоту накладывает штраф на следующий токен, пропорциональный тому, сколько раз этот токен уже появлялся в ответе и подсказке. Чем выше штраф за частоту, тем меньше вероятность того, что слово появится снова. Этот параметр уменьшает повторение слов в ответе модели, назначая более высокий штраф за лексемы, которые кажутся более выраженными. Эта настройка уменьшает повторение слов в ответе модели, назначая более высокий штраф за токены, которые появляются чаще.

Штраф за наличие — Штраф за наличие также применяет штраф к повторяющимся токенам, но, в отличие от штрафа за частоту, штраф одинаков для всех повторяющихся токенов. Токен, который появляется дважды, и токен, который появляется 10 раз, наказываются одинаково. Эта настройка останавливает модель от слишком частого повторения фразы в ответе. Если вы хотите, чтобы модель генерировала разнообразный или креативный текст, вы можете использовать более высокий штраф за наличе. Или, если вам нужно, чтобы модель оставалась сосредоточенной, попробуйте использовать более низкий штраф за наличиие.

Как и в случае с температурой и top_p, рекомендуется — изменить штраф за частоту или присутствие, но не то и другое одновременно.

Перед тем, как перейти к некоторым простым примерам, имейте в виду, что ваши результаты могут отличаться в зависимости от версии LLM, которую вы используете.