Предубеждения

Большие языковые модели (LLM) могут создавать проблематичные генерации, которые потенциально могут быть вредными и проявлять предубеждения, что может снизить производительность модели на последующих задачах. Некоторые из этих предубеждений могут быть смягчены с помощью эффективных стратегий промптинга, но могут потребовать более продвинутых решений, таких как модерация и фильтрация.

Распределение примеров

Влияет ли распределение примеров на производительность модели или вызывает предубеждения модели каким-либо образом при выполнении обучения с малым количеством примеров? Мы можем провести простой тест здесь.

Промпт:

Q: I just got the best news ever!
A: Positive

Q: We just got a raise at work!
A: Positive

Q: I'm so proud of what I accomplished today.
A: Positive

Q: I'm having the best day ever!
A: Positive

Q: I'm really looking forward to the weekend.
A: Positive

Q: I just got the best present ever!
A: Positive

Q: I'm so happy right now.
A: Positive

Q: I'm so blessed to have such an amazing family.
A: Positive

Q: The weather outside is so gloomy.
A: Negative

Q: I just got some terrible news.
A: Negative

Q: That left a sour taste.
A:

Вывод:

Negative

В приведенном выше примере, кажется, что распределение примеров не вызывает предубеждений у модели. Это хорошо. Давайте попробуем другой пример с более сложным текстом для классификации и посмотрим, как модель справится:

Промпт:

Q: The food here is delicious!
A: Positive 

Q: I'm so tired of this coursework.
A: Negative

Q: I can't believe I failed the exam.
A: Negative

Q: I had a great day today!
A: Positive 

Q: I hate this job.
A: Negative

Q: The service here is terrible.
A: Negative

Q: I'm so frustrated with my life.
A: Negative

Q: I never get a break.
A: Negative

Q: This meal tastes awful.
A: Negative

Q: I can't stand my boss.
A: Negative

Q: I feel something.
A:

Вывод:

Negative

Хотя последнее предложение является относительно субъективным, я изменил распределение и использовал 8 положительных примеров и 2 отрицательных примера, а затем снова использовал то же самое предложение. Угадайте, что ответила модель? Она ответила "Positive". Модель может иметь много знаний о классификации эмоциональной окраски, поэтому будет сложно заставить ее проявить предубеждение в этой задаче. Совет здесь - избегать смещения распределения и вместо этого предоставить более сбалансированное количество примеров для каждой метки. Для более сложных задач, в которых у модели нет много знаний, она, вероятно, будет иметь больше проблем.

Порядок примеров

Влияет ли порядок примеров на производительность модели или вызывает предубеждения модели каким-либо образом при выполнении обучения с малым количеством примеров?

Вы можете попробовать использовать приведенные выше примеры и посмотреть, сможете ли вы добиться того, чтобы модель была предубеждена в отношении определенной метки, изменив порядок. Совет заключается в том, чтобы случайно упорядочивать примеры. Например, избегайте того, чтобы все положительные примеры были первыми, а отрицательные - последними. Эта проблема усугубляется, если распределение меток смещено. Всегда экспериментируйте много, чтобы снизить такой тип предубеждения.