KI-Glossar · KI-Begriff 191 von 218

Was ist LLM-as-a-Judge?

Bewertungsverfahren, bei dem ein Sprachmodell die Antworten eines anderen Modells oder Prompts nach festen Kriterien benotet. Anthropic beschreibt diese LLM-basierte Bewertung in der Claude-Doku als schnell, flexibel und skalierbar und auch für komplexe Urteile geeignet. Vor dem breiten Einsatz solltest du laut Doku prüfen, ob die Bewertung zuverlässig ist. Empfohlen werden ein klarer Bewertungsmaßstab (Rubrik) und eindeutige Ausgaben wie „korrekt“ oder „falsch“ oder eine Skala von 1 bis 5.

Hans erklärt's mit Schrauberhänden 🔧

Wie ein Prüfer mit Musterlösung: Er liest die Antwort, vergleicht sie mit dem Bewertungsbogen und vergibt eine Note.

Merksatz: Beim LLM-as-a-Judge benotet ein Sprachmodell Antworten nach festen Kriterien; vor dem breiten Einsatz prüfst du, ob die Bewertung zuverlässig ist.

Beispiel aus der Praxis

Du testest einen Kundenservice-Prompt mit 200 Fragen. Statt jede Antwort selbst zu lesen, gibst du einem zweiten Modell die Antwort, die Musterlösung und die Anweisung „Antworte nur mit korrekt oder falsch“. Am Ende zählst du die korrekten Antworten.

Darauf kommt es an

Schreib eine genaue Rubrik und verlange ein eindeutiges Urteil statt eines freien Kommentars. Prüf eine Stichprobe der Urteile selbst, bevor du dich auf die Zahlen verlässt.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist LLM-as-a-Judge?

Bewertungsverfahren, bei dem ein Sprachmodell die Antworten eines anderen Modells oder Prompts nach festen Kriterien benotet. Anthropic beschreibt diese LLM-basierte Bewertung in der Claude-Doku als schnell, flexibel und skalierbar und auch für komplexe Urteile geeignet. Vor dem breiten Einsatz solltest du laut Doku prüfen, ob die Bewertung zuverlässig ist. Empfohlen werden ein klarer Bewertungsmaßstab (Rubrik) und eindeutige Ausgaben wie „korrekt“ oder „falsch“ oder eine Skala von 1 bis 5.

Was ist ein Beispiel für LLM-as-a-Judge?

Du testest einen Kundenservice-Prompt mit 200 Fragen. Statt jede Antwort selbst zu lesen, gibst du einem zweiten Modell die Antwort, die Musterlösung und die Anweisung „Antworte nur mit korrekt oder falsch“. Am Ende zählst du die korrekten Antworten.

Worauf sollte ich bei LLM-as-a-Judge achten?

Schreib eine genaue Rubrik und verlange ein eindeutiges Urteil statt eines freien Kommentars. Prüf eine Stichprobe der Urteile selbst, bevor du dich auf die Zahlen verlässt.

Weiter geht's 🧭

Falls du noch nicht genug hast: Hier geht es inhaltlich direkt weiter.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?