KI-Glossar · KI-Begriff 195 von 218

Was ist RLHF?

Trainingsverfahren, mit dem ein Sprachmodell an menschliche Vorlieben angepasst wird. Im Paper „Training language models to follow instructions with human feedback“ (Ouyang u. a., arXiv:2203.02155) beschreibt OpenAI den Ablauf: Erst wird das Modell mit von Menschen geschriebenen Beispielantworten nachtrainiert, dann bringen Menschen mehrere Modellausgaben in eine Rangfolge, und mit diesen Rangfolgen wird das Modell per bestärkendem Lernen weiter trainiert. So entstanden die InstructGPT-Modelle.

Hans erklärt's mit Schrauberhänden 🔧

Wie eine Jury bei einem Kochwettbewerb: Sie probiert mehrere Gerichte und legt eine Reihenfolge fest. Der Koch lernt aus vielen solchen Urteilen, was gut ankommt.

Merksatz: Bei RLHF lernt ein Modell aus menschlichen Rangfolgen seiner Antworten, was Menschen bevorzugen.

Beispiel aus der Praxis

Ein Modell gibt auf dieselbe Frage vier Antworten. Prüferinnen ordnen sie von hilfreich bis unbrauchbar. Aus vielen solchen Rangfolgen lernt das Modell, welche Art Antwort Menschen bevorzugen.

Darauf kommt es an

Wenn ein Anbieter schreibt, sein Modell sei mit menschlichem Feedback trainiert, heißt das nicht, dass es keine Fehler macht. Prüf Fakten in den Antworten trotzdem selbst.

Verwandte Begriffe

Kurz gefragt

Was ist RLHF?

Trainingsverfahren, mit dem ein Sprachmodell an menschliche Vorlieben angepasst wird. Im Paper „Training language models to follow instructions with human feedback“ (Ouyang u. a., arXiv:2203.02155) beschreibt OpenAI den Ablauf: Erst wird das Modell mit von Menschen geschriebenen Beispielantworten nachtrainiert, dann bringen Menschen mehrere Modellausgaben in eine Rangfolge, und mit diesen Rangfolgen wird das Modell per bestärkendem Lernen weiter trainiert. So entstanden die InstructGPT-Modelle.

Was ist ein Beispiel für RLHF?

Ein Modell gibt auf dieselbe Frage vier Antworten. Prüferinnen ordnen sie von hilfreich bis unbrauchbar. Aus vielen solchen Rangfolgen lernt das Modell, welche Art Antwort Menschen bevorzugen.

Worauf sollte ich bei RLHF achten?

Wenn ein Anbieter schreibt, sein Modell sei mit menschlichem Feedback trainiert, heißt das nicht, dass es keine Fehler macht. Prüf Fakten in den Antworten trotzdem selbst.

Weiter geht's 🧭

Thematisch am nächsten dran, ausgewählt per Textvergleich.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?