KI-Glossar · KI-Begriff 86 von 218
Was ist Evals?
Systematische Testläufe, mit denen du misst, wie gut ein Modell oder ein Prompt bei deinen Aufgaben abschneidet, etwa mit festen Testfragen und einer Bewertung der Antworten.
Hans erklärt's mit Schrauberhänden 🔧
Evals sind die Probefahrt mit Messprotokoll: Nicht ob sich das Auto gut anfühlt, sondern wie lange der Bremsweg wirklich ist, immer auf derselben Strecke.
Merksatz: Evals messen, statt nur zu fühlen.
Beispiel aus der Praxis
Bevor du einen Prompt änderst, lässt du 20 feste Testfragen durchlaufen und vergleichst vorher und nachher, ob die Antworten besser oder schlechter werden.
Darauf kommt es an
Sammle zehn bis zwanzig echte Aufgaben aus deinem Alltag samt einer Antwort, die du als gut ansiehst, und lass jede neue Prompt-Fassung oder jedes neue Modell dagegen laufen. So merkst du nach einem Update sofort, ob etwas schlechter geworden ist, statt es erst beim Kunden zu bemerken.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- Prompt EngineeringDas gezielte Formulieren von Prompts mit Rolle, Kontext, Format und Techniken wie Beispielen oder Rückfragen, um verlässlich gute Ergebnisse zu bekommen.
- Large Language Model (LLM)Großes Sprachmodell, das auf riesigen Textmengen trainiert wurde und Text fortsetzt, zusammenfasst, übersetzt oder Fragen beantwortet. Beispiele: die Modelle hinter ChatGPT, Claude und Gemini.
- Abkündigung (Deprecation)Ankündigung eines Anbieters, ein Modell oder eine Funktion zu einem festen Termin abzuschalten. Bis dahin läuft es weiter, danach liefern Anfragen nur noch Fehler. Automationen mit fest eingetragenem Modellnamen müssen vorher umgestellt werden.
- JailbreakVersuch, die Sicherheitsregeln eines Modells mit geschickten Prompts zu umgehen.
Kurz gefragt
Was ist Evals?
Systematische Testläufe, mit denen du misst, wie gut ein Modell oder ein Prompt bei deinen Aufgaben abschneidet, etwa mit festen Testfragen und einer Bewertung der Antworten.
Worauf sollte ich bei Evals achten?
Sammle zehn bis zwanzig echte Aufgaben aus deinem Alltag samt einer Antwort, die du als gut ansiehst, und lass jede neue Prompt-Fassung oder jedes neue Modell dagegen laufen. So merkst du nach einem Update sofort, ob etwas schlechter geworden ist, statt es erst beim Kunden zu bemerken.
Weiter geht's 🧭
Thematisch verwandt, handverlesen von einem Skript mit gutem Geschmack.
Passt dazu 4
Wer hierher verlinkt 12
Beliebt im Viertel: 12 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist eine Abkündigung? Einfach erklärt mit Beispiel
- GlossarWas ist ein Benchmark? Einfach erklärt mit Beispiel
- GlossarWas ist Prompt Engineering? Einfach erklärt mit Beispiel
- GlossarWas ist Reranker? Einfach erklärt mit Beispiel
- GlossarWas ist Red Teaming? Einfach erklärt mit Beispiel
- GlossarWas ist LLM-as-a-Judge? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?