KI-Glossar · KI-Begriff 42 von 79
Was ist ein Transformer?
Die Modellarchitektur hinter fast allen modernen Sprachmodellen. Ein Mechanismus namens Attention gewichtet, welche Teile des Textes für das nächste Token wichtig sind.
Jean erklärt's mit Schrauberhänden 🔧
Der Transformer arbeitet wie ein Stammtisch, an dem jedes Wort gleichzeitig allen anderen zuhört, aber nicht allen gleich aufmerksam. Im Satz „Der Helm passte nicht in den Koffer, weil er zu klein war“ merkt Attention, dass „er“ hier zum Koffer gehört. So gewichtet das Modell für jedes Token, welche anderen Stellen gerade zählen.
Merksatz: Attention fragt bei jedem Wort: Welche anderen Wörter sind gerade wichtig?
Beispiel aus der Praxis
Wenn ein Modell im Satz „Die Katze jagte die Maus, weil sie hungrig war“ erkennen soll, worauf sich „sie“ bezieht, hilft Attention, die passenden Wörter zu verknüpfen.
Darauf kommt es an
Für die Anwendung musst du Transformer nicht im Detail verstehen. Wichtig ist: Das Modell sieht immer nur den Text im Kontextfenster.
Verwandte Begriffe
- Large Language Model (LLM)Großes Sprachmodell, das auf riesigen Textmengen trainiert wurde und Text fortsetzt, zusammenfasst, übersetzt oder Fragen beantwortet. Beispiele: die Modelle hinter ChatGPT, Claude und Gemini.
- TokenDie Einheit, in die Sprachmodelle Text zerlegen: ein Wort, Wortteil oder Satzzeichen. Bei englischem Text entspricht ein Token laut OpenAI grob 4 Zeichen, andere Sprachen wie Deutsch brauchen oft mehr Tokens für dieselbe Textmenge. API-Kosten werden pro Token berechnet.
- KontextfensterWie viel Text ein Modell auf einmal berücksichtigen kann, gemessen in Tokens: Prompt, Dateien, bisheriger Chat und die erzeugte Antwort zusammen.
Kurz gefragt
Was ist ein Transformer?
Die Modellarchitektur hinter fast allen modernen Sprachmodellen. Ein Mechanismus namens Attention gewichtet, welche Teile des Textes für das nächste Token wichtig sind.
Was ist ein Beispiel für Transformer?
Wenn ein Modell im Satz „Die Katze jagte die Maus, weil sie hungrig war“ erkennen soll, worauf sich „sie“ bezieht, hilft Attention, die passenden Wörter zu verknüpfen.
Worauf sollte ich bei Transformer achten?
Für die Anwendung musst du Transformer nicht im Detail verstehen. Wichtig ist: Das Modell sieht immer nur den Text im Kontextfenster.
Weiter geht's 🧭
Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.
Passt dazu 6
- GlossarWas ist ein Rate Limit? Einfach erklärt mit Beispiel
- GlossarWas sind Parameter? Einfach erklärt mit Beispiel
- RechnerKI-API-Kostenrechner: GPT, Claude & Gemini
- RatgeberKI-Skills: wiederkehrende Aufgaben einmal beibringen
- KI-NewsOpenAI Decisions API: Preis, Funktionen, Einsatz
- RatgeberKI-Modelle in Automationen: Fristen, Preise, Wechsel
Wer hierher verlinkt 7
Gut vernetzt: 7 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist ein Token? Einfach erklärt mit Beispiel
- GlossarWas ist ein Large Language Model? Einfach erklärt
- GlossarWas ist das Kontextfenster? Einfach erklärt mit Beispiel
- GlossarKI-Glossar: KI- und SEO-Begriffe einfach erklärt
- GlossarWas ist ein KI-Detektor? Einfach erklärt mit Beispiel
- GlossarWas ist ein Reasoning-Modell? Einfach erklärt
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool eintragen lassen oder einen Fehler gefunden?