KI-Glossar · KI-Begriff 197 von 218
Was ist DPO?
Verfahren, um ein Sprachmodell an menschliche Vorlieben anzupassen, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen wie bei RLHF. Laut Originalpaper „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ (Rafailov u. a., arXiv:2305.18290) genügt dafür eine einfache Klassifikations-Verlustfunktion auf Paaren von bevorzugten und weniger bevorzugten Antworten. Die Autoren beschreiben DPO als stabil und rechnerisch leichtgewichtig.
Hans erklärt's mit Schrauberhänden 🔧
Wie ein Lernheft mit zwei Lösungen pro Aufgabe, eine als besser markiert: Du lernst direkt aus dem Vergleich, ohne dass jemand Punkte vergibt.
Merksatz: DPO passt ein Modell direkt an Antwortpaare mit menschlicher Vorliebe an, ohne den Umweg über bestärkendes Lernen.
Beispiel aus der Praxis
Ein Team sammelt zu 5.000 Fragen je eine gute und eine schwächere Antwort. Mit DPO trainiert es das Modell direkt auf diesen Paaren, ohne vorher ein separates Belohnungsmodell zu bauen.
Darauf kommt es an
Für DPO brauchst du Paare aus besserer und schlechterer Antwort zur selben Frage. Achte darauf, dass die Bewertung nach festen Kriterien erfolgt, sonst lernt das Modell Zufall.
Verwandte Begriffe
- RLHF (Reinforcement Learning from Human Feedback)Trainingsverfahren, mit dem ein Sprachmodell an menschliche Vorlieben angepasst wird. Im Paper „Training language models to follow instructions with human feedback“ (Ouyang u. a., arXiv:2203.02155) beschreibt OpenAI den Ablauf: Erst wird das Modell mit von Menschen geschriebenen Beispielantworten nachtrainiert, dann bringen Menschen mehrere Modellausgaben in eine Rangfolge, und mit diesen Rangfolgen wird das Modell per bestärkendem Lernen weiter trainiert. So entstanden die InstructGPT-Modelle.
- AlignmentAusrichtung eines KI-Modells an menschlichen Werten und Absichten, damit es hilfreich, ehrlich und sicher antwortet und Schaden vermeidet.
- Fine-TuningNachtrainieren eines fertigen Modells mit eigenen Beispielen, damit es eine Aufgabe oder einen Stil besonders gut beherrscht.
Kurz gefragt
Was ist DPO?
Verfahren, um ein Sprachmodell an menschliche Vorlieben anzupassen, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen wie bei RLHF. Laut Originalpaper „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ (Rafailov u. a., arXiv:2305.18290) genügt dafür eine einfache Klassifikations-Verlustfunktion auf Paaren von bevorzugten und weniger bevorzugten Antworten. Die Autoren beschreiben DPO als stabil und rechnerisch leichtgewichtig.
Was ist ein Beispiel für DPO?
Ein Team sammelt zu 5.000 Fragen je eine gute und eine schwächere Antwort. Mit DPO trainiert es das Modell direkt auf diesen Paaren, ohne vorher ein separates Belohnungsmodell zu bauen.
Worauf sollte ich bei DPO achten?
Für DPO brauchst du Paare aus besserer und schlechterer Antwort zur selben Frage. Achte darauf, dass die Bewertung nach festen Kriterien erfolgt, sonst lernt das Modell Zufall.
Weiter geht's 🧭
Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.
Passt dazu 4
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?