KI-Glossar · KI-Begriff 193 von 218
Was ist Benchmark-Kontamination?
Überschneidung zwischen den Trainingsdaten eines Modells und den Testdaten eines Benchmarks. Hat ein Modell die Testaufgaben schon beim Training gesehen, wirkt sein Ergebnis besser, als es bei neuen Aufgaben wäre. Das US-Institut NIST empfiehlt in seinem Profil für generative KI (NIST AI 600-1), die Annahmen und Grenzen von Benchmarks zu dokumentieren, einschließlich einer tatsächlichen oder möglichen Vermischung von Trainings- und Testdaten.
Hans erklärt's mit Schrauberhänden 🔧
Wie eine Klassenarbeit, deren Aufgaben vorher bekannt waren: Die Note sagt dann wenig darüber, was jemand wirklich kann.
Merksatz: Benchmark-Kontamination heißt, dass Testdaten eines Benchmarks schon in den Trainingsdaten standen; das kann die Ergebnisse zu gut aussehen lassen.
Beispiel aus der Praxis
Ein Modell löst die Aufgaben eines bekannten Mathe-Tests fast fehlerfrei, scheitert aber an ähnlich schweren Aufgaben, die du selbst neu formulierst. Ein möglicher Grund: Die Testaufgaben standen schon in den Trainingsdaten.
Darauf kommt es an
Verlass dich bei der Modellwahl nicht allein auf öffentliche Benchmark-Werte. Teste mit eigenen, nicht veröffentlichten Aufgaben aus deinem Alltag.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- BenchmarkStandardisierter Test, mit dem Modelle verglichen werden. Gute Benchmark-Werte garantieren nicht, dass ein Modell deine Aufgaben am besten löst.
- EvalsSystematische Testläufe, mit denen du misst, wie gut ein Modell oder ein Prompt bei deinen Aufgaben abschneidet, etwa mit festen Testfragen und einer Bewertung der Antworten.
- LLM-as-a-JudgeBewertungsverfahren, bei dem ein Sprachmodell die Antworten eines anderen Modells oder Prompts nach festen Kriterien benotet. Anthropic beschreibt diese LLM-basierte Bewertung in der Claude-Doku als schnell, flexibel und skalierbar und auch für komplexe Urteile geeignet. Vor dem breiten Einsatz solltest du laut Doku prüfen, ob die Bewertung zuverlässig ist. Empfohlen werden ein klarer Bewertungsmaßstab (Rubrik) und eindeutige Ausgaben wie „korrekt“ oder „falsch“ oder eine Skala von 1 bis 5.
- Model CardSteckbrief eines KI-Modells, in dem Anbieter Zweck, Fähigkeiten, Grenzen, Trainingsdaten und bekannte Risiken beschreiben.
Kurz gefragt
Was ist Benchmark-Kontamination?
Überschneidung zwischen den Trainingsdaten eines Modells und den Testdaten eines Benchmarks. Hat ein Modell die Testaufgaben schon beim Training gesehen, wirkt sein Ergebnis besser, als es bei neuen Aufgaben wäre. Das US-Institut NIST empfiehlt in seinem Profil für generative KI (NIST AI 600-1), die Annahmen und Grenzen von Benchmarks zu dokumentieren, einschließlich einer tatsächlichen oder möglichen Vermischung von Trainings- und Testdaten.
Was ist ein Beispiel für Benchmark-Kontamination?
Ein Modell löst die Aufgaben eines bekannten Mathe-Tests fast fehlerfrei, scheitert aber an ähnlich schweren Aufgaben, die du selbst neu formulierst. Ein möglicher Grund: Die Testaufgaben standen schon in den Trainingsdaten.
Worauf sollte ich bei Benchmark-Kontamination achten?
Verlass dich bei der Modellwahl nicht allein auf öffentliche Benchmark-Werte. Teste mit eigenen, nicht veröffentlichten Aufgaben aus deinem Alltag.
Weiter geht's 🧭
Falls du noch nicht genug hast: Hier geht es inhaltlich direkt weiter.
Passt dazu 6
- GlossarWas ist Overfitting? Einfach erklärt mit Beispiel
- GlossarWas ist Checkpoint? Einfach erklärt mit Beispiel
- KI-NewsClaude Fable 5.2: Preise, Benchmarks, Zugang erklärt
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- KI-ToolStructEval: Was ist das? Alternativen & Einordnung
- KI-ToolThe Aggregate: Was ist das? Alternativen & Einordnung
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?