KI-Glossar · KI-Begriff 191 von 218
Was ist LLM-as-a-Judge?
Bewertungsverfahren, bei dem ein Sprachmodell die Antworten eines anderen Modells oder Prompts nach festen Kriterien benotet. Anthropic beschreibt diese LLM-basierte Bewertung in der Claude-Doku als schnell, flexibel und skalierbar und auch für komplexe Urteile geeignet. Vor dem breiten Einsatz solltest du laut Doku prüfen, ob die Bewertung zuverlässig ist. Empfohlen werden ein klarer Bewertungsmaßstab (Rubrik) und eindeutige Ausgaben wie „korrekt“ oder „falsch“ oder eine Skala von 1 bis 5.
Hans erklärt's mit Schrauberhänden 🔧
Wie ein Prüfer mit Musterlösung: Er liest die Antwort, vergleicht sie mit dem Bewertungsbogen und vergibt eine Note.
Merksatz: Beim LLM-as-a-Judge benotet ein Sprachmodell Antworten nach festen Kriterien; vor dem breiten Einsatz prüfst du, ob die Bewertung zuverlässig ist.
Beispiel aus der Praxis
Du testest einen Kundenservice-Prompt mit 200 Fragen. Statt jede Antwort selbst zu lesen, gibst du einem zweiten Modell die Antwort, die Musterlösung und die Anweisung „Antworte nur mit korrekt oder falsch“. Am Ende zählst du die korrekten Antworten.
Darauf kommt es an
Schreib eine genaue Rubrik und verlange ein eindeutiges Urteil statt eines freien Kommentars. Prüf eine Stichprobe der Urteile selbst, bevor du dich auf die Zahlen verlässt.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- EvalsSystematische Testläufe, mit denen du misst, wie gut ein Modell oder ein Prompt bei deinen Aufgaben abschneidet, etwa mit festen Testfragen und einer Bewertung der Antworten.
- BenchmarkStandardisierter Test, mit dem Modelle verglichen werden. Gute Benchmark-Werte garantieren nicht, dass ein Modell deine Aufgaben am besten löst.
- PromptDie Eingabe an eine KI: Frage, Aufgabe oder Anweisung, am besten mit Ziel, Kontext und Format.
- HalluzinationEine überzeugend formulierte, aber falsche oder erfundene Antwort, etwa eine Studie oder ein Zitat, das es nicht gibt.
- Benchmark-KontaminationÜberschneidung zwischen den Trainingsdaten eines Modells und den Testdaten eines Benchmarks. Hat ein Modell die Testaufgaben schon beim Training gesehen, wirkt sein Ergebnis besser, als es bei neuen Aufgaben wäre. Das US-Institut NIST empfiehlt in seinem Profil für generative KI (NIST AI 600-1), die Annahmen und Grenzen von Benchmarks zu dokumentieren, einschließlich einer tatsächlichen oder möglichen Vermischung von Trainings- und Testdaten.
Kurz gefragt
Was ist LLM-as-a-Judge?
Bewertungsverfahren, bei dem ein Sprachmodell die Antworten eines anderen Modells oder Prompts nach festen Kriterien benotet. Anthropic beschreibt diese LLM-basierte Bewertung in der Claude-Doku als schnell, flexibel und skalierbar und auch für komplexe Urteile geeignet. Vor dem breiten Einsatz solltest du laut Doku prüfen, ob die Bewertung zuverlässig ist. Empfohlen werden ein klarer Bewertungsmaßstab (Rubrik) und eindeutige Ausgaben wie „korrekt“ oder „falsch“ oder eine Skala von 1 bis 5.
Was ist ein Beispiel für LLM-as-a-Judge?
Du testest einen Kundenservice-Prompt mit 200 Fragen. Statt jede Antwort selbst zu lesen, gibst du einem zweiten Modell die Antwort, die Musterlösung und die Anweisung „Antworte nur mit korrekt oder falsch“. Am Ende zählst du die korrekten Antworten.
Worauf sollte ich bei LLM-as-a-Judge achten?
Schreib eine genaue Rubrik und verlange ein eindeutiges Urteil statt eines freien Kommentars. Prüf eine Stichprobe der Urteile selbst, bevor du dich auf die Zahlen verlässt.
Weiter geht's 🧭
Falls du noch nicht genug hast: Hier geht es inhaltlich direkt weiter.
Passt dazu 6
- GlossarWas ist Overfitting? Einfach erklärt mit Beispiel
- GlossarWas ist Wortfehlerrate? Einfach erklärt mit Beispiel
- KI-ToolStructEval: Was ist das? Alternativen & Einordnung
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- KI-TestKI-Test 2026: ChatGPT, Claude und Gemini selbst vergleichen
- RatgeberPrompt Engineering für Anfänger: Grundlagen auf Deutsch
Wer hierher verlinkt 7
Gut vernetzt: 7 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist Benchmark-Kontamination? Einfach erklärt
- GlossarWas ist ein Benchmark? Einfach erklärt mit Beispiel
- GlossarWas ist Overfitting? Einfach erklärt mit Beispiel
- GlossarKI-Glossar: KI- und SEO-Begriffe einfach erklärt
- GlossarWas ist Red Teaming? Einfach erklärt mit Beispiel
- GlossarWas ist Wortfehlerrate? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?