KI-Glossar · KI-Begriff 11 von 79

Was ist ein Token?

Die Einheit, in die Sprachmodelle Text zerlegen: ein Wort, Wortteil oder Satzzeichen. Bei englischem Text entspricht ein Token laut OpenAI grob 4 Zeichen, andere Sprachen wie Deutsch brauchen oft mehr Tokens für dieselbe Textmenge. API-Kosten werden pro Token berechnet.

Jean erklärt's mit Schrauberhänden 🔧

Tokens sind die Schrauben, in die das Modell deinen Text zerlegt, bevor es damit arbeitet. Kurze, häufige Wörter sind oft eine einzige Schraube, ein Brocken wie „Kfz-Haftpflichtversicherung“ zerfällt in mehrere. Und abgerechnet wird nicht pro Bauteil, sondern pro Schraube.

Merksatz: Die KI liest keine Wörter, sondern Schnipsel, und jeder Schnipsel kostet.

Beispiel aus der Praxis

Das Wort „Kaffeemaschine“ wird je nach Modell in mehrere Tokens zerlegt, ein kurzes englisches Wort wie „cat“ ist oft nur ein Token.

Darauf kommt es an

Deutsche Texte brauchen meist mehr Tokens als englische mit gleichem Inhalt. Das wirkt sich auf API-Kosten und das Kontextfenster aus.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist ein Token?

Die Einheit, in die Sprachmodelle Text zerlegen: ein Wort, Wortteil oder Satzzeichen. Bei englischem Text entspricht ein Token laut OpenAI grob 4 Zeichen, andere Sprachen wie Deutsch brauchen oft mehr Tokens für dieselbe Textmenge. API-Kosten werden pro Token berechnet.

Was ist ein Beispiel für Token?

Das Wort „Kaffeemaschine“ wird je nach Modell in mehrere Tokens zerlegt, ein kurzes englisches Wort wie „cat“ ist oft nur ein Token.

Worauf sollte ich bei Token achten?

Deutsche Texte brauchen meist mehr Tokens als englische mit gleichem Inhalt. Das wirkt sich auf API-Kosten und das Kontextfenster aus.

Weiter geht's 🧭

Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool eintragen lassen oder einen Fehler gefunden?