KI-Glossar · KI-Begriff 155 von 218

Was ist KV-Cache?

Zwischenspeicher eines Transformer-Modells für die Schlüssel- und Wertvektoren (Key und Value) des Attention-Mechanismus. Sie stehen für den Kontext aus früheren Tokens und werden beim Erzeugen jedes weiteren Tokens wiederverwendet, statt neu berechnet zu werden. Das Paper zu PagedAttention und vLLM beschreibt, dass dieser Speicher pro Anfrage riesig ist und dynamisch wächst und schrumpft. Wird er ineffizient verwaltet, geht viel Speicher durch Fragmentierung und doppelte Ablage verloren, und das begrenzt, wie viele Anfragen gleichzeitig laufen können.

Hans erklärt's mit Schrauberhänden 🔧

Beim Lesen eines langen Buchs blätterst du nicht vor jedem neuen Satz zum Anfang zurück. Du hast dir den bisherigen Inhalt gemerkt. Der KV-Cache ist dieses Gedächtnis des Modells für den bisherigen Text.

Merksatz: Der KV-Cache merkt sich den bisherigen Text, belegt dafür aber Speicher.

Beispiel aus der Praxis

Bei einem langen Gespräch muss das Modell für jedes neue Token nicht den ganzen bisherigen Verlauf neu durchrechnen: Die Schlüssel- und Wertvektoren der früheren Tokens liegen im KV-Cache und werden nur noch gelesen und um das neue Token ergänzt.

Darauf kommt es an

Der KV-Cache belegt Grafikspeicher und wächst mit der Länge des Kontexts und der Zahl gleichzeitiger Anfragen. Wer Modelle selbst betreibt, sollte ihn bei der Speicherplanung mitrechnen, nicht nur die Modellgewichte. Bei Cloud-Diensten merkst du ihn indirekt an Kontextlimits und Preisen für lange Eingaben.

Verwandte Begriffe

Kurz gefragt

Was ist KV-Cache?

Zwischenspeicher eines Transformer-Modells für die Schlüssel- und Wertvektoren (Key und Value) des Attention-Mechanismus. Sie stehen für den Kontext aus früheren Tokens und werden beim Erzeugen jedes weiteren Tokens wiederverwendet, statt neu berechnet zu werden. Das Paper zu PagedAttention und vLLM beschreibt, dass dieser Speicher pro Anfrage riesig ist und dynamisch wächst und schrumpft. Wird er ineffizient verwaltet, geht viel Speicher durch Fragmentierung und doppelte Ablage verloren, und das begrenzt, wie viele Anfragen gleichzeitig laufen können.

Was ist ein Beispiel für KV-Cache?

Bei einem langen Gespräch muss das Modell für jedes neue Token nicht den ganzen bisherigen Verlauf neu durchrechnen: Die Schlüssel- und Wertvektoren der früheren Tokens liegen im KV-Cache und werden nur noch gelesen und um das neue Token ergänzt.

Worauf sollte ich bei KV-Cache achten?

Der KV-Cache belegt Grafikspeicher und wächst mit der Länge des Kontexts und der Zahl gleichzeitiger Anfragen. Wer Modelle selbst betreibt, sollte ihn bei der Speicherplanung mitrechnen, nicht nur die Modellgewichte. Bei Cloud-Diensten merkst du ihn indirekt an Kontextlimits und Preisen für lange Eingaben.

Weiter geht's 🧭

Thematisch am nächsten dran, ausgewählt per Textvergleich.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?