사실성

LLM은 일관적이고 설득력 있는 응답을 생성하는 편이지만 가끔 지어낸 응답을 되돌려줄 수도 있습니다. 프롬프트를 개선함으로써 모델이 보다 정확하고 사실에 기반한 응답을 생성하게끔 하고, 동시에 일관성 없는 응답을 지어낼 가능성을 줄일 수 있습니다.

다음과 같은 몇 가지 해결책이 있습니다:

• 모델이 텍스트를 허구로 지어내 생성할 가능성을 줄이기 위해 맥락의 일부로 연관 기사 또는 위키백과 문서와 같은 근간이 되는 정보를 제공합니다.
• 확률 매개변수(probability parameter)를 줄이고 모를 때는 모른다고 인정하도록 지시함으로써 보다 덜 다양한 응답을 생성하도록 모델을 설정합니다.
• 예시로 답을 아는 경우와 모르는 경우의 질문-응답 조합을 프롬프트에 제공합니다.

간단한 예시를 한번 살펴보도록 하겠습니다:

Prompt:

Q: 원자가 뭐야?
A: 원자란 모든 것을 구성하는 작은 입자입니다.
Q: Alvan Muntz가 누구야?
A: ?
Q: Kozar-09가 뭐야?
A: ?
Q: 화성에는 위성이 몇 개 있어?
A: 포보스와 데이모스라는 두 개의 위성이 있습니다.
Q: Neto Beto Roberto가 누구야?

Output:

A: ?

'Neto Beto Roberto'는 제가 그냥 지어낸 이름이기 때문에 이 경우 모델은 정확히 대답을 한 셈입니다. 질문을 조금 바꿔서 모델이 제대로 답변하는지 실험해 보세요. 지금까지 배운 것을 바탕으로 이 문제를 개선할 수 있는 여러 방법이 있습니다.