Prompt attivo

I metodi Chain-of-thought (CoT, a catena del pensiero) si basano su un insieme fisso di esempi annotati manualmente da umani. Il problema è che gli esempi potrebbero non essere i più efficaci per i diversi compiti. Per ovviare a questo problema, Diao et al., (2023) (opens in a new tab) hanno recentemente proposto un nuovo approccio di prompting chiamato Active-Prompt, per adattare i LLM a diversi prompt di esempio specifici per i vari compiti (progettati manualmente con ragionamenti CoT).

Di seguito viene illustrato l'approccio. Il primo passo consiste nell'interrogare l'LLM con o senza alcuni esempi CoT. Vengono generate k possibili risposte per un insieme di domande di addestramento. Sulla base delle k risposte viene calcolata una metrica di incertezza (viene utilizzato il disaccordo). Le domande più incerte vengono selezionate per l'annotazione manuale da parte di umani. I nuovi esempi annotati vengono poi utilizzati per dedurre ogni domanda.

Fonte immagine: Diao et al., (2023) (opens in a new tab)