Fallstudie zur Klassifizierung von Absolventenjobs
Clavié et al., 2023 (opens in a new tab) bieten eine Fallstudie zum Thema Prompt-Engineering, das auf einen mittelgroßen Anwendungsfall der Textklassifizierung in einem Produktionssystem angewandt wurde. Mit der Aufgabe, zu klassifizieren, ob ein Job wirklich eine "Einstiegsposition" ist, die für einen frischgebackenen Absolventen geeignet ist, oder nicht, bewerteten sie eine Reihe von Prompting-Techniken und berichten über ihre Ergebnisse unter Verwendung von GPT-3.5 (gpt-3.5-turbo).
Die Arbeit zeigt, dass LLMs alle anderen getesteten Modelle übertreffen, einschließlich einer extrem starken Ausgangsbasis in DeBERTa-V3. gpt-3.5-turbo übertrifft auch deutlich ältere GPT3-Varianten in allen Schlüsselmetriken, erfordert jedoch zusätzliches Output-Parsing, da seine Fähigkeit, sich an eine Vorlage zu halten, schlechter zu sein scheint als bei den anderen Varianten.
Die wichtigsten Erkenntnisse ihres Prompt-Engineering-Ansatzes sind:
- Bei Aufgaben wie dieser, bei denen kein Expertenwissen erforderlich ist, erzielte Few-shot CoT-Prompting schlechtere Ergebnisse als Zero-shot-Prompting in allen Experimenten.
- Der Einfluss des Prompts auf das Hervorrufen des richtigen Entscheidungsprozesses ist enorm. Wenn das Modell einfach darum gebeten wird, einen angegebenen Job zu klassifizieren, resultiert das in einer F1-Bewertung von 65,6, wohingegen das Modell nach dem Prompt-Engineering eine F1-Bewertung von 91,7 erreicht.
- Der Versuch, das Modell dazu zu zwingen, sich strikt an eine Vorlage zu halten, senkt die Leistung in allen Fällen (dieses Verhalten verschwindet in frühen Tests mit GPT-4, die nach der Veröffentlichung der Studie stattfanden).
- Viele kleine Änderungen haben eine unverhältnismäßig große Auswirkung auf die Leistung.
- Die unten stehenden Tabellen zeigen alle getesteten Modifikationen.
- Klare Anweisungen zu erteilen und die Schlüsselpunkte zu wiederholen, scheint der größte Leistungstreiber zu sein.
- Etwas so Einfaches wie das Modell mit einem (menschlichen) Namen zu versehen und es als solches zu bezeichnen, erhöhte die F1-Bewertung um 0,6 Punkte.
Getestete Prompt-Modifikationen
| Kurzbezeichnung | Beschreibung |
|---|---|
| Baseline | Stelle einen Stellenbeitrag zur Verfügung und frage, ob er für einen Absolventen geeignet ist. |
| CoT | Gib einige Beispiele für korrekte Klassifikationen an, bevor du eine Anfrage stellst. |
| Zero-CoT | Bitte das Modell, seine Überlegungen Schritt für Schritt darzulegen, bevor es seine Antwort gibt. |
| rawinst | Gib Anweisungen zu seiner Rolle und der Aufgabe, indem du sie zur Benutzernachricht hinzufügst. |
| sysinst | Gib Anweisungen zu seiner Rolle und der Aufgabe als Systemnachricht. |
| bothinst | Teile die Anweisungen auf, mit der Rolle als Systemnachricht und der Aufgabe als Benutzernachricht. |
| mock | Gib Anweisungen zur Aufgabe, indem du eine Diskussion simulierst, in der es sie anerkennt. |
| reit | Verstärke Schlüsselelemente in den Anweisungen durch ihre Wiederholung. |
| strict | Bitte das Modell, die Antwort strikt nach einer vorgegebenen Vorlage zu geben. |
| loose | Frage nur nach der endgültigen Antwort, die einer gegebenen Vorlage folgen soll. |
| right | Bitte das Modell, zur richtigen Schlussfolgerung zu kommen. |
| info | Stelle zusätzliche Informationen zur Verfügung, um häufige Denkfehler anzugehen. |
| name | Gib dem Modell einen Namen, mit dem wir uns im Gespräch darauf beziehen. |
| pos | Gib dem Modell positives Feedback, bevor du eine Anfrage stellst. |
Leistungsauswirkungen aller Prompt-Modifikationen
| Präzision | Genauigkeit | F1 | Template-Treue | |
|---|---|---|---|---|
| Baseline | 61.2 | 70.6 | 65.6 | 79% |
| CoT | 72.6 | 85.1 | 78.4 | 87% |
| Zero-CoT | 75.5 | 88.3 | 81.4 | 65% |
| +rawinst | 80 | 92.4 | 85.8 | 68% |
| +sysinst | 77.7 | 90.9 | 83.8 | 69% |
| +bothinst | 81.9 | 93.9 | 87.5 | 71% |
| +bothinst+mock | 83.3 | 95.1 | 88.8 | 74% |
| +bothinst+mock+reit | 83.8 | 95.5 | 89.3 | 75% |
| +bothinst+mock+reit+strict | 79.9 | 93.7 | 86.3 | 98% |
| +bothinst+mock+reit+loose | 80.5 | 94.8 | 87.1 | 95% |
| +bothinst+mock+reit+right | 84 | 95.9 | 89.6 | 77% |
| +bothinst+mock+reit+right+info | 84.9 | 96.5 | 90.3 | 77% |
| +bothinst+mock+reit+right+info+name | 85.7 | 96.8 | 90.9 | 79% |
| +bothinst+mock+reit+right+info+name+pos | 86.9 | 97 | 91.7 | 81% |
Template-Treue bezieht sich darauf, wie häufig das Modell die Antwort im gewünschten Format gibt.