KI-Glossar · KI-Begriff 200 von 218

Was ist Synthetische Daten?

Trainingsdaten, die nicht von Menschen geschrieben oder gesammelt, sondern von einem KI-Modell erzeugt werden. Im Paper „Textbooks Are All You Need“ (Gunasekar u. a., arXiv:2306.11644) trainierte Microsoft das Code-Modell phi-1 mit 1,3 Milliarden Parametern unter anderem auf rund 1 Milliarde Tokens synthetisch erzeugter Lehrbuchtexte und Übungen, die GPT-3.5 geschrieben hatte. Trotz der geringen Größe erreichte phi-1 laut Paper 50,6 Prozent im Benchmark HumanEval.

Hans erklärt's mit Schrauberhänden 🔧

Wie Übungsblätter, die eine Lehrerin selbst schreibt, statt echte Prüfungen von früher zu sammeln.

Merksatz: Synthetische Daten sind Trainingsdaten, die ein KI-Modell erzeugt hat.

Beispiel aus der Praxis

Ein Team lässt ein großes Modell tausende Übungsaufgaben mit Lösungen schreiben und trainiert damit ein kleineres Modell weiter.

Darauf kommt es an

Prüf synthetische Daten stichprobenartig, bevor du damit trainierst. Fehler des erzeugenden Modells landen sonst direkt im neuen Modell. Beachte auch die Nutzungsbedingungen des Anbieters, dessen Modell die Daten erzeugt.

Verwandte Begriffe

Kurz gefragt

Was ist Synthetische Daten?

Trainingsdaten, die nicht von Menschen geschrieben oder gesammelt, sondern von einem KI-Modell erzeugt werden. Im Paper „Textbooks Are All You Need“ (Gunasekar u. a., arXiv:2306.11644) trainierte Microsoft das Code-Modell phi-1 mit 1,3 Milliarden Parametern unter anderem auf rund 1 Milliarde Tokens synthetisch erzeugter Lehrbuchtexte und Übungen, die GPT-3.5 geschrieben hatte. Trotz der geringen Größe erreichte phi-1 laut Paper 50,6 Prozent im Benchmark HumanEval.

Was ist ein Beispiel für Synthetische Daten?

Ein Team lässt ein großes Modell tausende Übungsaufgaben mit Lösungen schreiben und trainiert damit ein kleineres Modell weiter.

Worauf sollte ich bei Synthetische Daten achten?

Prüf synthetische Daten stichprobenartig, bevor du damit trainierst. Fehler des erzeugenden Modells landen sonst direkt im neuen Modell. Beachte auch die Nutzungsbedingungen des Anbieters, dessen Modell die Daten erzeugt.

Weiter geht's 🧭

Die nächste Abzweigung. Navi sagt: lohnt sich.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?