KI-Glossar · KI-Begriff 192 von 218

Was ist Red Teaming?

Gezieltes Angreifen und Stresstesten eines KI-Modells oder KI-Systems, um Schwachstellen zu finden, bevor andere sie ausnutzen. Das US-Institut NIST beschreibt KI-Red-Teaming als Übungen, die oft in einer kontrollierten Umgebung und zusammen mit den Entwicklern stattfinden, um mögliches schädliches Verhalten eines Modells zu erkennen und Schutzmaßnahmen auf die Probe zu stellen. Es kann vor oder nach der Veröffentlichung eines Modells laufen.

Hans erklärt's mit Schrauberhänden 🔧

Wie ein beauftragter Einbruchstest: Jemand versucht mit Erlaubnis, ins Haus zu kommen, damit die Schwachstellen vor echten Einbrechern bekannt sind.

Merksatz: Red Teaming ist das gezielte Stresstesten eines KI-Systems, um schädliches Verhalten zu finden und Schutzmaßnahmen auf die Probe zu stellen.

Beispiel aus der Praxis

Vor dem Start eines Support-Chatbots versucht ein Team gezielt, ihn mit Tricks zu gefährlichen Anleitungen, beleidigenden Antworten oder dem Verraten interner Anweisungen zu bringen. Jede gelungene Umgehung wird notiert und behoben.

Darauf kommt es an

Teste eigene KI-Anwendungen vor dem Start mit typischen Angriffen wie Jailbreaks und Prompt-Injection. Halte fest, was du getestet hast und was du daraufhin geändert hast.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist Red Teaming?

Gezieltes Angreifen und Stresstesten eines KI-Modells oder KI-Systems, um Schwachstellen zu finden, bevor andere sie ausnutzen. Das US-Institut NIST beschreibt KI-Red-Teaming als Übungen, die oft in einer kontrollierten Umgebung und zusammen mit den Entwicklern stattfinden, um mögliches schädliches Verhalten eines Modells zu erkennen und Schutzmaßnahmen auf die Probe zu stellen. Es kann vor oder nach der Veröffentlichung eines Modells laufen.

Was ist ein Beispiel für Red Teaming?

Vor dem Start eines Support-Chatbots versucht ein Team gezielt, ihn mit Tricks zu gefährlichen Anleitungen, beleidigenden Antworten oder dem Verraten interner Anweisungen zu bringen. Jede gelungene Umgehung wird notiert und behoben.

Worauf sollte ich bei Red Teaming achten?

Teste eigene KI-Anwendungen vor dem Start mit typischen Angriffen wie Jailbreaks und Prompt-Injection. Halte fest, was du getestet hast und was du daraufhin geändert hast.

Weiter geht's 🧭

Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?