KI-Glossar · KI-Begriff 192 von 218
Was ist Red Teaming?
Gezieltes Angreifen und Stresstesten eines KI-Modells oder KI-Systems, um Schwachstellen zu finden, bevor andere sie ausnutzen. Das US-Institut NIST beschreibt KI-Red-Teaming als Übungen, die oft in einer kontrollierten Umgebung und zusammen mit den Entwicklern stattfinden, um mögliches schädliches Verhalten eines Modells zu erkennen und Schutzmaßnahmen auf die Probe zu stellen. Es kann vor oder nach der Veröffentlichung eines Modells laufen.
Hans erklärt's mit Schrauberhänden 🔧
Wie ein beauftragter Einbruchstest: Jemand versucht mit Erlaubnis, ins Haus zu kommen, damit die Schwachstellen vor echten Einbrechern bekannt sind.
Merksatz: Red Teaming ist das gezielte Stresstesten eines KI-Systems, um schädliches Verhalten zu finden und Schutzmaßnahmen auf die Probe zu stellen.
Beispiel aus der Praxis
Vor dem Start eines Support-Chatbots versucht ein Team gezielt, ihn mit Tricks zu gefährlichen Anleitungen, beleidigenden Antworten oder dem Verraten interner Anweisungen zu bringen. Jede gelungene Umgehung wird notiert und behoben.
Darauf kommt es an
Teste eigene KI-Anwendungen vor dem Start mit typischen Angriffen wie Jailbreaks und Prompt-Injection. Halte fest, was du getestet hast und was du daraufhin geändert hast.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- JailbreakVersuch, die Sicherheitsregeln eines Modells mit geschickten Prompts zu umgehen.
- Prompt-InjectionAngriff, bei dem versteckte Anweisungen in Texten, Webseiten oder Dateien eine KI dazu bringen sollen, ihre eigentlichen Regeln zu ignorieren.
- GuardrailsSchutzregeln und Filter rund um ein Modell, die unerwünschte oder gefährliche Ausgaben verhindern sollen.
- AlignmentAusrichtung eines KI-Modells an menschlichen Werten und Absichten, damit es hilfreich, ehrlich und sicher antwortet und Schaden vermeidet.
- EvalsSystematische Testläufe, mit denen du misst, wie gut ein Modell oder ein Prompt bei deinen Aufgaben abschneidet, etwa mit festen Testfragen und einer Bewertung der Antworten.
Kurz gefragt
Was ist Red Teaming?
Gezieltes Angreifen und Stresstesten eines KI-Modells oder KI-Systems, um Schwachstellen zu finden, bevor andere sie ausnutzen. Das US-Institut NIST beschreibt KI-Red-Teaming als Übungen, die oft in einer kontrollierten Umgebung und zusammen mit den Entwicklern stattfinden, um mögliches schädliches Verhalten eines Modells zu erkennen und Schutzmaßnahmen auf die Probe zu stellen. Es kann vor oder nach der Veröffentlichung eines Modells laufen.
Was ist ein Beispiel für Red Teaming?
Vor dem Start eines Support-Chatbots versucht ein Team gezielt, ihn mit Tricks zu gefährlichen Anleitungen, beleidigenden Antworten oder dem Verraten interner Anweisungen zu bringen. Jede gelungene Umgehung wird notiert und behoben.
Worauf sollte ich bei Red Teaming achten?
Teste eigene KI-Anwendungen vor dem Start mit typischen Angriffen wie Jailbreaks und Prompt-Injection. Halte fest, was du getestet hast und was du daraufhin geändert hast.
Weiter geht's 🧭
Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.
Passt dazu 6
- GlossarWas ist Moderation? Einfach erklärt mit Beispiel
- GlossarWas ist Computer Use? Einfach erklärt mit Beispiel
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- TutorialKI-Texte so überarbeiten, dass sie nach dir klingen
- PromptFehlerbericht (Bug Report) aus einer Nutzerbeschreibung
- PromptPrompt: Lernplan für ein neues Thema
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?