KI-Glossar · KI-Begriff 197 von 218

Was ist DPO?

Verfahren, um ein Sprachmodell an menschliche Vorlieben anzupassen, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen wie bei RLHF. Laut Originalpaper „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ (Rafailov u. a., arXiv:2305.18290) genügt dafür eine einfache Klassifikations-Verlustfunktion auf Paaren von bevorzugten und weniger bevorzugten Antworten. Die Autoren beschreiben DPO als stabil und rechnerisch leichtgewichtig.

Hans erklärt's mit Schrauberhänden 🔧

Wie ein Lernheft mit zwei Lösungen pro Aufgabe, eine als besser markiert: Du lernst direkt aus dem Vergleich, ohne dass jemand Punkte vergibt.

Merksatz: DPO passt ein Modell direkt an Antwortpaare mit menschlicher Vorliebe an, ohne den Umweg über bestärkendes Lernen.

Beispiel aus der Praxis

Ein Team sammelt zu 5.000 Fragen je eine gute und eine schwächere Antwort. Mit DPO trainiert es das Modell direkt auf diesen Paaren, ohne vorher ein separates Belohnungsmodell zu bauen.

Darauf kommt es an

Für DPO brauchst du Paare aus besserer und schlechterer Antwort zur selben Frage. Achte darauf, dass die Bewertung nach festen Kriterien erfolgt, sonst lernt das Modell Zufall.

Verwandte Begriffe

Kurz gefragt

Was ist DPO?

Verfahren, um ein Sprachmodell an menschliche Vorlieben anzupassen, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen wie bei RLHF. Laut Originalpaper „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ (Rafailov u. a., arXiv:2305.18290) genügt dafür eine einfache Klassifikations-Verlustfunktion auf Paaren von bevorzugten und weniger bevorzugten Antworten. Die Autoren beschreiben DPO als stabil und rechnerisch leichtgewichtig.

Was ist ein Beispiel für DPO?

Ein Team sammelt zu 5.000 Fragen je eine gute und eine schwächere Antwort. Mit DPO trainiert es das Modell direkt auf diesen Paaren, ohne vorher ein separates Belohnungsmodell zu bauen.

Worauf sollte ich bei DPO achten?

Für DPO brauchst du Paare aus besserer und schlechterer Antwort zur selben Frage. Achte darauf, dass die Bewertung nach festen Kriterien erfolgt, sonst lernt das Modell Zufall.

Weiter geht's 🧭

Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?