Faktuaalisuus

Suuret kielimallit (LLM) tuottavat usein vastauksia, jotka kuulostavat todenmukaisilta ja vakuuttavilta, mutta ne voivat joskus olla keksittyjä. Kehotteiden parantaminen voi auttaa mallia tuottamaan tarkempia ja faktuaalisempia vastauksia sekä vähentää epäjohdonmukaisten ja keksittyjen vastausten todennäköisyyttä.

Jotkin ratkaisut tähän ongelmaan ovat mm.:

• Tarjoa pohjatietoa jonka tiedät todeksi (esim. aiheeseen liittyvä artikkelin kappale tai Wikipedia-artikkeli) kontekstina, jotta mallin tuottaman keksityn tekstin todennäköisyys pienenee.
• määritä malli tuottamaan vähemmän monipuolisia vastauksia pienentämällä todennäköisyysparametreja ja ohjeista se myöntämään (esim. "En tiedä"), kun se ei tiedä vastausta
• tarjoa kehotteessa yhdistelmä esimerkkejä kysymyksistä ja vastauksista, joita malli saattaa tietää tai olla tietämättä

Tarkastellaan yksinkertaista esimerkkiä:

Kehote:

K: Mikä on atomi?
V: Atomi on pieni hiukkanen, joka muodostaa kaiken.

K: Kuka on Alvan Muntz?
V: ?

K: Mikä on Kozar-09?
V: ?

K: Kuinka monta kuuta Marsilla on?
V: Kaksi, Phobos ja Deimos.

K: Kuka on Neto Beto Roberto?

Tulos:

A: ?

Keksin nimen "Neto Beto Roberto", joten malli on tässä tapauksessa oikeassa. Yritä muuttaa kysymystä hieman ja katso, saatko sen toimimaan. Voit parantaa tätä entisestään kaiken tähän mennessä oppimasi perusteella.