KI-Glossar · KI-Begriff 155 von 218
Was ist KV-Cache?
Zwischenspeicher eines Transformer-Modells für die Schlüssel- und Wertvektoren (Key und Value) des Attention-Mechanismus. Sie stehen für den Kontext aus früheren Tokens und werden beim Erzeugen jedes weiteren Tokens wiederverwendet, statt neu berechnet zu werden. Das Paper zu PagedAttention und vLLM beschreibt, dass dieser Speicher pro Anfrage riesig ist und dynamisch wächst und schrumpft. Wird er ineffizient verwaltet, geht viel Speicher durch Fragmentierung und doppelte Ablage verloren, und das begrenzt, wie viele Anfragen gleichzeitig laufen können.
Hans erklärt's mit Schrauberhänden 🔧
Beim Lesen eines langen Buchs blätterst du nicht vor jedem neuen Satz zum Anfang zurück. Du hast dir den bisherigen Inhalt gemerkt. Der KV-Cache ist dieses Gedächtnis des Modells für den bisherigen Text.
Merksatz: Der KV-Cache merkt sich den bisherigen Text, belegt dafür aber Speicher.
Beispiel aus der Praxis
Bei einem langen Gespräch muss das Modell für jedes neue Token nicht den ganzen bisherigen Verlauf neu durchrechnen: Die Schlüssel- und Wertvektoren der früheren Tokens liegen im KV-Cache und werden nur noch gelesen und um das neue Token ergänzt.
Darauf kommt es an
Der KV-Cache belegt Grafikspeicher und wächst mit der Länge des Kontexts und der Zahl gleichzeitiger Anfragen. Wer Modelle selbst betreibt, sollte ihn bei der Speicherplanung mitrechnen, nicht nur die Modellgewichte. Bei Cloud-Diensten merkst du ihn indirekt an Kontextlimits und Preisen für lange Eingaben.
Verwandte Begriffe
- TransformerDie Modellarchitektur hinter fast allen modernen Sprachmodellen. Ein Mechanismus namens Attention gewichtet, welche Teile des Textes für das nächste Token wichtig sind.
- KontextfensterWie viel Text ein Modell auf einmal berücksichtigen kann, gemessen in Tokens: Prompt, Dateien, bisheriger Chat und die erzeugte Antwort zusammen.
- VRAMDer Grafikspeicher einer GPU. Er bestimmt, wie große KI-Modelle lokal laufen können, weil die Modellgewichte während der Nutzung dort liegen.
- InferenzDas Ausführen eines trainierten Modells, also das Erzeugen einer Antwort. Kosten und Geschwindigkeit der Inferenz entscheiden über den Preis.
- Prompt CachingWiederkehrende Teile eines Prompts werden zwischengespeichert, sodass sie bei der nächsten Anfrage günstiger und schneller verarbeitet werden.
Kurz gefragt
Was ist KV-Cache?
Zwischenspeicher eines Transformer-Modells für die Schlüssel- und Wertvektoren (Key und Value) des Attention-Mechanismus. Sie stehen für den Kontext aus früheren Tokens und werden beim Erzeugen jedes weiteren Tokens wiederverwendet, statt neu berechnet zu werden. Das Paper zu PagedAttention und vLLM beschreibt, dass dieser Speicher pro Anfrage riesig ist und dynamisch wächst und schrumpft. Wird er ineffizient verwaltet, geht viel Speicher durch Fragmentierung und doppelte Ablage verloren, und das begrenzt, wie viele Anfragen gleichzeitig laufen können.
Was ist ein Beispiel für KV-Cache?
Bei einem langen Gespräch muss das Modell für jedes neue Token nicht den ganzen bisherigen Verlauf neu durchrechnen: Die Schlüssel- und Wertvektoren der früheren Tokens liegen im KV-Cache und werden nur noch gelesen und um das neue Token ergänzt.
Worauf sollte ich bei KV-Cache achten?
Der KV-Cache belegt Grafikspeicher und wächst mit der Länge des Kontexts und der Zahl gleichzeitiger Anfragen. Wer Modelle selbst betreibt, sollte ihn bei der Speicherplanung mitrechnen, nicht nur die Modellgewichte. Bei Cloud-Diensten merkst du ihn indirekt an Kontextlimits und Preisen für lange Eingaben.
Weiter geht's 🧭
Thematisch am nächsten dran, ausgewählt per Textvergleich.
Passt dazu 6
- GlossarWas ist Mixture of Experts? Einfach erklärt mit Beispiel
- GlossarWas ist die Quantisierung? Einfach erklärt mit Beispiel
- RatgeberLokale KI 2026: KI auf Laptop und im Browser nutzen
- KI-NewsOpenAI Prompt Caching 12 Stunden: Kosten und Rechnung
- RatgeberOpen-Weight-Modelle 2026: Wann sich eigene KI lohnt
- VergleichChatGPT vs. Claude vs. Google Gemini im Vergleich
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?