KI-Glossar · KI-Begriff 193 von 218

Was ist Benchmark-Kontamination?

Überschneidung zwischen den Trainingsdaten eines Modells und den Testdaten eines Benchmarks. Hat ein Modell die Testaufgaben schon beim Training gesehen, wirkt sein Ergebnis besser, als es bei neuen Aufgaben wäre. Das US-Institut NIST empfiehlt in seinem Profil für generative KI (NIST AI 600-1), die Annahmen und Grenzen von Benchmarks zu dokumentieren, einschließlich einer tatsächlichen oder möglichen Vermischung von Trainings- und Testdaten.

Hans erklärt's mit Schrauberhänden 🔧

Wie eine Klassenarbeit, deren Aufgaben vorher bekannt waren: Die Note sagt dann wenig darüber, was jemand wirklich kann.

Merksatz: Benchmark-Kontamination heißt, dass Testdaten eines Benchmarks schon in den Trainingsdaten standen; das kann die Ergebnisse zu gut aussehen lassen.

Beispiel aus der Praxis

Ein Modell löst die Aufgaben eines bekannten Mathe-Tests fast fehlerfrei, scheitert aber an ähnlich schweren Aufgaben, die du selbst neu formulierst. Ein möglicher Grund: Die Testaufgaben standen schon in den Trainingsdaten.

Darauf kommt es an

Verlass dich bei der Modellwahl nicht allein auf öffentliche Benchmark-Werte. Teste mit eigenen, nicht veröffentlichten Aufgaben aus deinem Alltag.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist Benchmark-Kontamination?

Überschneidung zwischen den Trainingsdaten eines Modells und den Testdaten eines Benchmarks. Hat ein Modell die Testaufgaben schon beim Training gesehen, wirkt sein Ergebnis besser, als es bei neuen Aufgaben wäre. Das US-Institut NIST empfiehlt in seinem Profil für generative KI (NIST AI 600-1), die Annahmen und Grenzen von Benchmarks zu dokumentieren, einschließlich einer tatsächlichen oder möglichen Vermischung von Trainings- und Testdaten.

Was ist ein Beispiel für Benchmark-Kontamination?

Ein Modell löst die Aufgaben eines bekannten Mathe-Tests fast fehlerfrei, scheitert aber an ähnlich schweren Aufgaben, die du selbst neu formulierst. Ein möglicher Grund: Die Testaufgaben standen schon in den Trainingsdaten.

Worauf sollte ich bei Benchmark-Kontamination achten?

Verlass dich bei der Modellwahl nicht allein auf öffentliche Benchmark-Werte. Teste mit eigenen, nicht veröffentlichten Aufgaben aus deinem Alltag.

Weiter geht's 🧭

Falls du noch nicht genug hast: Hier geht es inhaltlich direkt weiter.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?