KI-Glossar · KI-Begriff 154 von 218

Was ist Speculative Decoding?

Beschleunigungsverfahren für die Textausgabe großer Sprachmodelle, vorgestellt von Leviathan, Kalman und Matias (Google) im Paper „Fast Inference from Transformers via Speculative Decoding“. Normalerweise braucht jedes erzeugte Token einen eigenen Durchlauf des großen Modells. Beim Speculative Decoding schlägt ein kleineres, schnelleres Modell mehrere Tokens vor, und das große Modell prüft sie parallel. Laut Paper bleibt die Ausgabeverteilung dabei unverändert, und es braucht weder Neutraining noch Änderungen an der Architektur. Für T5-XXL nennen die Autoren eine 2- bis 3-fache Beschleunigung.

Hans erklärt's mit Schrauberhänden 🔧

Ein Praktikant schreibt einen Entwurf in Satzstücken vor, die Chefin liest sie in einem Rutsch gegen und streicht nur, was nicht passt. Das geht schneller, als wenn sie jedes Wort selbst diktiert.

Merksatz: Ein kleines Modell rät voraus, das große prüft alles auf einmal.

Beispiel aus der Praxis

Ein kleines Modell schlägt etwa fünf Tokens vor, das große Modell prüft sie in einem einzigen parallelen Durchlauf. Stimmen die ersten vier mit dem überein, was das große Modell selbst gewählt hätte, sind vier Tokens für den Preis eines Durchlaufs erzeugt.

Darauf kommt es an

Du musst das nicht selbst bauen: Ob ein Anbieter oder eine Inferenz-Software das Verfahren nutzt, steht in deren Doku. Laut Paper ändert es die Ausgabeverteilung nicht, es geht also um Tempo und nicht um Qualität. Wie viel es bringt, hängt davon ab, wie oft das kleine Modell richtig liegt. Miss deshalb mit deinen eigenen Aufgaben, bevor du dich auf die 2- bis 3-fache Beschleunigung aus dem Paper verlässt.

Verwandte Begriffe

Kurz gefragt

Was ist Speculative Decoding?

Beschleunigungsverfahren für die Textausgabe großer Sprachmodelle, vorgestellt von Leviathan, Kalman und Matias (Google) im Paper „Fast Inference from Transformers via Speculative Decoding“. Normalerweise braucht jedes erzeugte Token einen eigenen Durchlauf des großen Modells. Beim Speculative Decoding schlägt ein kleineres, schnelleres Modell mehrere Tokens vor, und das große Modell prüft sie parallel. Laut Paper bleibt die Ausgabeverteilung dabei unverändert, und es braucht weder Neutraining noch Änderungen an der Architektur. Für T5-XXL nennen die Autoren eine 2- bis 3-fache Beschleunigung.

Was ist ein Beispiel für Speculative Decoding?

Ein kleines Modell schlägt etwa fünf Tokens vor, das große Modell prüft sie in einem einzigen parallelen Durchlauf. Stimmen die ersten vier mit dem überein, was das große Modell selbst gewählt hätte, sind vier Tokens für den Preis eines Durchlaufs erzeugt.

Worauf sollte ich bei Speculative Decoding achten?

Du musst das nicht selbst bauen: Ob ein Anbieter oder eine Inferenz-Software das Verfahren nutzt, steht in deren Doku. Laut Paper ändert es die Ausgabeverteilung nicht, es geht also um Tempo und nicht um Qualität. Wie viel es bringt, hängt davon ab, wie oft das kleine Modell richtig liegt. Miss deshalb mit deinen eigenen Aufgaben, bevor du dich auf die 2- bis 3-fache Beschleunigung aus dem Paper verlässt.

Weiter geht's 🧭

Diese Seiten hat mein Algorithmus aus Kaffee und Textvergleich für dich rausgesucht.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?