KI-Glossar · KI-Begriff 154 von 218
Was ist Speculative Decoding?
Beschleunigungsverfahren für die Textausgabe großer Sprachmodelle, vorgestellt von Leviathan, Kalman und Matias (Google) im Paper „Fast Inference from Transformers via Speculative Decoding“. Normalerweise braucht jedes erzeugte Token einen eigenen Durchlauf des großen Modells. Beim Speculative Decoding schlägt ein kleineres, schnelleres Modell mehrere Tokens vor, und das große Modell prüft sie parallel. Laut Paper bleibt die Ausgabeverteilung dabei unverändert, und es braucht weder Neutraining noch Änderungen an der Architektur. Für T5-XXL nennen die Autoren eine 2- bis 3-fache Beschleunigung.
Hans erklärt's mit Schrauberhänden 🔧
Ein Praktikant schreibt einen Entwurf in Satzstücken vor, die Chefin liest sie in einem Rutsch gegen und streicht nur, was nicht passt. Das geht schneller, als wenn sie jedes Wort selbst diktiert.
Merksatz: Ein kleines Modell rät voraus, das große prüft alles auf einmal.
Beispiel aus der Praxis
Ein kleines Modell schlägt etwa fünf Tokens vor, das große Modell prüft sie in einem einzigen parallelen Durchlauf. Stimmen die ersten vier mit dem überein, was das große Modell selbst gewählt hätte, sind vier Tokens für den Preis eines Durchlaufs erzeugt.
Darauf kommt es an
Du musst das nicht selbst bauen: Ob ein Anbieter oder eine Inferenz-Software das Verfahren nutzt, steht in deren Doku. Laut Paper ändert es die Ausgabeverteilung nicht, es geht also um Tempo und nicht um Qualität. Wie viel es bringt, hängt davon ab, wie oft das kleine Modell richtig liegt. Miss deshalb mit deinen eigenen Aufgaben, bevor du dich auf die 2- bis 3-fache Beschleunigung aus dem Paper verlässt.
Verwandte Begriffe
- InferenzDas Ausführen eines trainierten Modells, also das Erzeugen einer Antwort. Kosten und Geschwindigkeit der Inferenz entscheiden über den Preis.
- TokenDie Einheit, in die Sprachmodelle Text zerlegen: ein Wort, Wortteil oder Satzzeichen. Bei englischem Text entspricht ein Token laut OpenAI grob 4 Zeichen, andere Sprachen wie Deutsch brauchen oft mehr Tokens für dieselbe Textmenge. API-Kosten werden pro Token berechnet.
- LatenzDie Zeit zwischen Anfrage und Antwort eines KI-Modells. Wichtig für Chatbots, Sprachassistenten und alle Anwendungen, bei denen Nutzer warten.
- TransformerDie Modellarchitektur hinter fast allen modernen Sprachmodellen. Ein Mechanismus namens Attention gewichtet, welche Teile des Textes für das nächste Token wichtig sind.
- DestillationTrainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen. So entstehen schnellere und günstigere Modelle, die einen Großteil der Fähigkeiten behalten.
Kurz gefragt
Was ist Speculative Decoding?
Beschleunigungsverfahren für die Textausgabe großer Sprachmodelle, vorgestellt von Leviathan, Kalman und Matias (Google) im Paper „Fast Inference from Transformers via Speculative Decoding“. Normalerweise braucht jedes erzeugte Token einen eigenen Durchlauf des großen Modells. Beim Speculative Decoding schlägt ein kleineres, schnelleres Modell mehrere Tokens vor, und das große Modell prüft sie parallel. Laut Paper bleibt die Ausgabeverteilung dabei unverändert, und es braucht weder Neutraining noch Änderungen an der Architektur. Für T5-XXL nennen die Autoren eine 2- bis 3-fache Beschleunigung.
Was ist ein Beispiel für Speculative Decoding?
Ein kleines Modell schlägt etwa fünf Tokens vor, das große Modell prüft sie in einem einzigen parallelen Durchlauf. Stimmen die ersten vier mit dem überein, was das große Modell selbst gewählt hätte, sind vier Tokens für den Preis eines Durchlaufs erzeugt.
Worauf sollte ich bei Speculative Decoding achten?
Du musst das nicht selbst bauen: Ob ein Anbieter oder eine Inferenz-Software das Verfahren nutzt, steht in deren Doku. Laut Paper ändert es die Ausgabeverteilung nicht, es geht also um Tempo und nicht um Qualität. Wie viel es bringt, hängt davon ab, wie oft das kleine Modell richtig liegt. Miss deshalb mit deinen eigenen Aufgaben, bevor du dich auf die 2- bis 3-fache Beschleunigung aus dem Paper verlässt.
Weiter geht's 🧭
Diese Seiten hat mein Algorithmus aus Kaffee und Textvergleich für dich rausgesucht.
Passt dazu 6
- GlossarWas ist ein Large Language Model? Einfach erklärt
- GlossarWas ist das Kontextfenster? Einfach erklärt mit Beispiel
- RechnerKI-API-Kostenrechner: GPT, Claude & Gemini
- RechnerToken- & Textkosten-Rechner für Sprachmodelle
- RatgeberLokale KI 2026: KI auf Laptop und im Browser nutzen
- RatgeberOpen-Weight-Modelle 2026: Wann sich eigene KI lohnt
Wer hierher verlinkt 4
Ein paar Freunde: 4 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?