MENTAT.CODES AI Directories, Tools & Engineering

KI-Glossar · KI-Begriff 40 von 79

Was ist Prompt Caching?

Wiederkehrende Teile eines Prompts werden zwischengespeichert, sodass sie bei der nächsten Anfrage günstiger und schneller verarbeitet werden.

Jean erklärt's mit Schrauberhänden 🔧

Mise en place in der Küche heißt: Zwiebeln schneidest du morgens einmal für den ganzen Tag, nicht für jede Bestellung neu. So liegen auch wiederkehrende Teile des Prompts, etwa ein langes Handbuch, schon vorbereitet bereit. Das klappt aber nur, wenn der Anfang des Prompts exakt gleich bleibt; ändert sich vorne etwas, fängst du ab dieser Stelle wieder bei null an.

Merksatz: Was sich wiederholt, wird einmal vorbereitet und dann günstiger wiederverwendet.

Beispiel aus der Praxis

Ein langer System-Prompt mit Produkthandbuch wird zwischengespeichert, sodass nur die neue Kundenfrage voll berechnet wird.

Darauf kommt es an

Stelle feste Teile wie Anweisungen und Dokumente an den Anfang des Prompts und die wechselnde Frage ans Ende.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

  • APIProgrammierschnittstelle. Über die API eines Anbieters nutzen Apps ein KI-Modell direkt und zahlen pro Token.
  • KontextfensterWie viel Text ein Modell auf einmal berücksichtigen kann, gemessen in Tokens: Prompt, Dateien, bisheriger Chat und die erzeugte Antwort zusammen.
  • Batch-VerarbeitungViele Anfragen gesammelt und zeitversetzt verarbeiten. Bei mehreren Anbietern deutlich günstiger als Einzelanfragen.

Kurz gefragt

Was ist Prompt Caching?

Wiederkehrende Teile eines Prompts werden zwischengespeichert, sodass sie bei der nächsten Anfrage günstiger und schneller verarbeitet werden.

Was ist ein Beispiel für Prompt Caching?

Ein langer System-Prompt mit Produkthandbuch wird zwischengespeichert, sodass nur die neue Kundenfrage voll berechnet wird.

Worauf sollte ich bei Prompt Caching achten?

Stelle feste Teile wie Anweisungen und Dokumente an den Anfang des Prompts und die wechselnde Frage ans Ende.

Weiter geht's 🧭

Die nächste Abzweigung. Navi sagt: lohnt sich.

Gerade in den KI-News:

Passt dazu 6
Wer hierher verlinkt 10

Beliebt im Viertel: 10 Seiten zeigen auf diese hier. Die passendsten:

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool eintragen lassen oder einen Fehler gefunden?