KI-Glossar · KI-Begriff 199 von 218
Was ist Pretraining?
Erste, große Trainingsphase eines Modells auf einem sehr umfangreichen, allgemeinen Datensatz. Das Machine-Learning-Glossar von Google nennt als Beispiel ein Sprachmodell, das auf einer riesigen Textsammlung wie allen englischsprachigen Wikipedia-Seiten vortrainiert wird. Danach wird das vortrainierte Modell meist weiter verfeinert, etwa durch Fine-Tuning, Instruction Tuning oder Destillation.
Hans erklärt's mit Schrauberhänden 🔧
Wie eine lange Allgemeinbildung vor der Berufsausbildung: Erst kommt breites Wissen, danach die Spezialisierung.
Merksatz: Pretraining ist die erste große Trainingsphase auf einem umfangreichen, allgemeinen Datensatz.
Beispiel aus der Praxis
Ein Sprachmodell liest im Pretraining riesige Mengen allgemeiner Texte. Erst danach wird es mit Fine-Tuning oder Instruction Tuning für Chat und konkrete Aufgaben angepasst.
Darauf kommt es an
Das Pretraining macht kaum jemand selbst, es kostet sehr viel Rechenzeit. Für eigene Zwecke nimmst du ein vortrainiertes Modell und passt es bei Bedarf an.
Verwandte Begriffe
- TrainingsdatenDie Texte, Bilder oder anderen Daten, aus denen ein Modell gelernt hat.
- Fine-TuningNachtrainieren eines fertigen Modells mit eigenen Beispielen, damit es eine Aufgabe oder einen Stil besonders gut beherrscht.
- Instruction TuningNachtrainieren eines vortrainierten Sprachmodells auf vielen Aufgaben, die jeweils als Anweisung in natürlicher Sprache formuliert sind. Das Google-Paper „Finetuned Language Models Are Zero-Shot Learners“ (Wei u. a., arXiv:2109.01652) hat den Begriff geprägt: Das so trainierte Modell FLAN löste Aufgabenarten, die es im Training nicht gesehen hatte, ohne Beispiel deutlich besser als das unveränderte Ausgangsmodell.
- DestillationTrainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen. So entstehen schnellere und günstigere Modelle, die einen Großteil der Fähigkeiten behalten.
Kurz gefragt
Was ist Pretraining?
Erste, große Trainingsphase eines Modells auf einem sehr umfangreichen, allgemeinen Datensatz. Das Machine-Learning-Glossar von Google nennt als Beispiel ein Sprachmodell, das auf einer riesigen Textsammlung wie allen englischsprachigen Wikipedia-Seiten vortrainiert wird. Danach wird das vortrainierte Modell meist weiter verfeinert, etwa durch Fine-Tuning, Instruction Tuning oder Destillation.
Was ist ein Beispiel für Pretraining?
Ein Sprachmodell liest im Pretraining riesige Mengen allgemeiner Texte. Erst danach wird es mit Fine-Tuning oder Instruction Tuning für Chat und konkrete Aufgaben angepasst.
Worauf sollte ich bei Pretraining achten?
Das Pretraining macht kaum jemand selbst, es kostet sehr viel Rechenzeit. Für eigene Zwecke nimmst du ein vortrainiertes Modell und passt es bei Bedarf an.
Weiter geht's 🧭
Thematisch verwandt, handverlesen von einem Skript mit gutem Geschmack.
Passt dazu 4
Wer hierher verlinkt 8
Gut vernetzt: 8 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist Instruction Tuning? Einfach erklärt mit Beispiel
- GlossarWas ist Synthetische Daten? Einfach erklärt mit Beispiel
- GlossarWas ist RLHF? Einfach erklärt mit Beispiel
- GlossarWas ist Destillation? Einfach erklärt mit Beispiel
- GlossarWas ist QLoRA? Einfach erklärt mit Beispiel
- GlossarKI-Glossar: KI- und SEO-Begriffe einfach erklärt
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?