KI-Glossar · KI-Begriff 195 von 218
Was ist RLHF?
Trainingsverfahren, mit dem ein Sprachmodell an menschliche Vorlieben angepasst wird. Im Paper „Training language models to follow instructions with human feedback“ (Ouyang u. a., arXiv:2203.02155) beschreibt OpenAI den Ablauf: Erst wird das Modell mit von Menschen geschriebenen Beispielantworten nachtrainiert, dann bringen Menschen mehrere Modellausgaben in eine Rangfolge, und mit diesen Rangfolgen wird das Modell per bestärkendem Lernen weiter trainiert. So entstanden die InstructGPT-Modelle.
Hans erklärt's mit Schrauberhänden 🔧
Wie eine Jury bei einem Kochwettbewerb: Sie probiert mehrere Gerichte und legt eine Reihenfolge fest. Der Koch lernt aus vielen solchen Urteilen, was gut ankommt.
Merksatz: Bei RLHF lernt ein Modell aus menschlichen Rangfolgen seiner Antworten, was Menschen bevorzugen.
Beispiel aus der Praxis
Ein Modell gibt auf dieselbe Frage vier Antworten. Prüferinnen ordnen sie von hilfreich bis unbrauchbar. Aus vielen solchen Rangfolgen lernt das Modell, welche Art Antwort Menschen bevorzugen.
Darauf kommt es an
Wenn ein Anbieter schreibt, sein Modell sei mit menschlichem Feedback trainiert, heißt das nicht, dass es keine Fehler macht. Prüf Fakten in den Antworten trotzdem selbst.
Verwandte Begriffe
- AlignmentAusrichtung eines KI-Modells an menschlichen Werten und Absichten, damit es hilfreich, ehrlich und sicher antwortet und Schaden vermeidet.
- Fine-TuningNachtrainieren eines fertigen Modells mit eigenen Beispielen, damit es eine Aufgabe oder einen Stil besonders gut beherrscht.
- DPO (Direct Preference Optimization)Verfahren, um ein Sprachmodell an menschliche Vorlieben anzupassen, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen wie bei RLHF. Laut Originalpaper „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ (Rafailov u. a., arXiv:2305.18290) genügt dafür eine einfache Klassifikations-Verlustfunktion auf Paaren von bevorzugten und weniger bevorzugten Antworten. Die Autoren beschreiben DPO als stabil und rechnerisch leichtgewichtig.
- Instruction TuningNachtrainieren eines vortrainierten Sprachmodells auf vielen Aufgaben, die jeweils als Anweisung in natürlicher Sprache formuliert sind. Das Google-Paper „Finetuned Language Models Are Zero-Shot Learners“ (Wei u. a., arXiv:2109.01652) hat den Begriff geprägt: Das so trainierte Modell FLAN löste Aufgabenarten, die es im Training nicht gesehen hatte, ohne Beispiel deutlich besser als das unveränderte Ausgangsmodell.
Kurz gefragt
Was ist RLHF?
Trainingsverfahren, mit dem ein Sprachmodell an menschliche Vorlieben angepasst wird. Im Paper „Training language models to follow instructions with human feedback“ (Ouyang u. a., arXiv:2203.02155) beschreibt OpenAI den Ablauf: Erst wird das Modell mit von Menschen geschriebenen Beispielantworten nachtrainiert, dann bringen Menschen mehrere Modellausgaben in eine Rangfolge, und mit diesen Rangfolgen wird das Modell per bestärkendem Lernen weiter trainiert. So entstanden die InstructGPT-Modelle.
Was ist ein Beispiel für RLHF?
Ein Modell gibt auf dieselbe Frage vier Antworten. Prüferinnen ordnen sie von hilfreich bis unbrauchbar. Aus vielen solchen Rangfolgen lernt das Modell, welche Art Antwort Menschen bevorzugen.
Worauf sollte ich bei RLHF achten?
Wenn ein Anbieter schreibt, sein Modell sei mit menschlichem Feedback trainiert, heißt das nicht, dass es keine Fehler macht. Prüf Fakten in den Antworten trotzdem selbst.
Weiter geht's 🧭
Thematisch am nächsten dran, ausgewählt per Textvergleich.
Passt dazu 6
- GlossarWas ist Pretraining? Einfach erklärt mit Beispiel
- GlossarWas ist QLoRA? Einfach erklärt mit Beispiel
- KI-ToolStable Diffusion Models: Was ist das?
- VerzeichnisHuman or Not eintragen: Kosten & Domain Rating
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- KI-ToolHugging Face Diffusion Models Course: Was ist das?
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?