Was ist die Latenz?

Beispiel aus der Praxis

Ein Sprachassistent mit hoher Latenz wirkt unnatürlich, weil nach jeder Frage eine lange Pause entsteht.

Darauf kommt es an

Kleinere Modelle und Streaming der Antwort senken die gefühlte Wartezeit. Für Hintergrundaufgaben ist Latenz weniger wichtig als Kosten.

Verwandte Begriffe

• InferenzDas Ausführen eines trainierten Modells, also das Erzeugen einer Antwort. Kosten und Geschwindigkeit der Inferenz entscheiden über den Preis.
• APIProgrammierschnittstelle. Über die API eines Anbieters nutzen Apps ein KI-Modell direkt und zahlen pro Token.
• Batch-VerarbeitungViele Anfragen gesammelt und zeitversetzt verarbeiten. Bei mehreren Anbietern deutlich günstiger als Einzelanfragen.

Kurz gefragt