KI-Glossar · KI-Begriff 200 von 218
Was ist Synthetische Daten?
Trainingsdaten, die nicht von Menschen geschrieben oder gesammelt, sondern von einem KI-Modell erzeugt werden. Im Paper „Textbooks Are All You Need“ (Gunasekar u. a., arXiv:2306.11644) trainierte Microsoft das Code-Modell phi-1 mit 1,3 Milliarden Parametern unter anderem auf rund 1 Milliarde Tokens synthetisch erzeugter Lehrbuchtexte und Übungen, die GPT-3.5 geschrieben hatte. Trotz der geringen Größe erreichte phi-1 laut Paper 50,6 Prozent im Benchmark HumanEval.
Hans erklärt's mit Schrauberhänden 🔧
Wie Übungsblätter, die eine Lehrerin selbst schreibt, statt echte Prüfungen von früher zu sammeln.
Merksatz: Synthetische Daten sind Trainingsdaten, die ein KI-Modell erzeugt hat.
Beispiel aus der Praxis
Ein Team lässt ein großes Modell tausende Übungsaufgaben mit Lösungen schreiben und trainiert damit ein kleineres Modell weiter.
Darauf kommt es an
Prüf synthetische Daten stichprobenartig, bevor du damit trainierst. Fehler des erzeugenden Modells landen sonst direkt im neuen Modell. Beachte auch die Nutzungsbedingungen des Anbieters, dessen Modell die Daten erzeugt.
Verwandte Begriffe
- TrainingsdatenDie Texte, Bilder oder anderen Daten, aus denen ein Modell gelernt hat.
- DestillationTrainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen. So entstehen schnellere und günstigere Modelle, die einen Großteil der Fähigkeiten behalten.
- Fine-TuningNachtrainieren eines fertigen Modells mit eigenen Beispielen, damit es eine Aufgabe oder einen Stil besonders gut beherrscht.
- PretrainingErste, große Trainingsphase eines Modells auf einem sehr umfangreichen, allgemeinen Datensatz. Das Machine-Learning-Glossar von Google nennt als Beispiel ein Sprachmodell, das auf einer riesigen Textsammlung wie allen englischsprachigen Wikipedia-Seiten vortrainiert wird. Danach wird das vortrainierte Modell meist weiter verfeinert, etwa durch Fine-Tuning, Instruction Tuning oder Destillation.
Kurz gefragt
Was ist Synthetische Daten?
Trainingsdaten, die nicht von Menschen geschrieben oder gesammelt, sondern von einem KI-Modell erzeugt werden. Im Paper „Textbooks Are All You Need“ (Gunasekar u. a., arXiv:2306.11644) trainierte Microsoft das Code-Modell phi-1 mit 1,3 Milliarden Parametern unter anderem auf rund 1 Milliarde Tokens synthetisch erzeugter Lehrbuchtexte und Übungen, die GPT-3.5 geschrieben hatte. Trotz der geringen Größe erreichte phi-1 laut Paper 50,6 Prozent im Benchmark HumanEval.
Was ist ein Beispiel für Synthetische Daten?
Ein Team lässt ein großes Modell tausende Übungsaufgaben mit Lösungen schreiben und trainiert damit ein kleineres Modell weiter.
Worauf sollte ich bei Synthetische Daten achten?
Prüf synthetische Daten stichprobenartig, bevor du damit trainierst. Fehler des erzeugenden Modells landen sonst direkt im neuen Modell. Beachte auch die Nutzungsbedingungen des Anbieters, dessen Modell die Daten erzeugt.
Weiter geht's 🧭
Die nächste Abzweigung. Navi sagt: lohnt sich.
Passt dazu 6
- GlossarWas ist Instruction Tuning? Einfach erklärt mit Beispiel
- GlossarWas ist QLoRA? Einfach erklärt mit Beispiel
- RubrikKI-Modelle & Plattformen: 67 Tools im Überblick
- KI-ToolStructEval: Was ist das? Alternativen & Einordnung
- RatgeberOpen-Weight-Modelle 2026: Wann sich eigene KI lohnt
- RatgeberLokale KI 2026: KI auf Laptop und im Browser nutzen
Wer hierher verlinkt 6
Gut vernetzt: 6 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist Pretraining? Einfach erklärt mit Beispiel
- GlossarWas ist Destillation? Einfach erklärt mit Beispiel
- GlossarKI-Glossar: KI- und SEO-Begriffe einfach erklärt
- GlossarWas ist Overfitting? Einfach erklärt mit Beispiel
- GlossarWas ist Instruction Tuning? Einfach erklärt mit Beispiel
- GlossarWas ist QLoRA? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?