KI-Glossar · KI-Begriff 194 von 218
Was ist Moderation?
Automatische Prüfung von Texten oder Bildern auf schädliche Inhalte, bevor sie verarbeitet oder angezeigt werden. OpenAI bietet dafür Moderationsmodelle an: Laut Doku erkennt das Modell omni-moderation-latest schädliche Inhalte in Text und Bildern, der Moderation-Endpunkt ist kostenlos. Das Ergebnis markiert Inhalte als auffällig (flagged) und nennt Kategorien und Werte, mit denen deine Anwendung filtern, eine menschliche Prüfung anstoßen oder Konten sperren kann.
Hans erklärt's mit Schrauberhänden 🔧
Wie eine Türkontrolle: Jeder Inhalt wird kurz geprüft, bevor er hereindarf, und Auffälliges wird zur Seite genommen.
Merksatz: Moderation prüft Texte oder Bilder automatisch auf schädliche Inhalte, und deine Anwendung entscheidet, was mit markierten Inhalten passiert.
Beispiel aus der Praxis
Eine Community-App schickt jeden neuen Kommentar vor dem Veröffentlichen an einen Moderationsendpunkt. Ist er als auffällig markiert, landet er in einer Warteschlange für die menschliche Prüfung statt direkt online.
Darauf kommt es an
Leg vorher fest, was bei einer Markierung passieren soll: blockieren, zur Prüfung schicken oder nur protokollieren. Prüf regelmäßig Stichproben, denn auch automatische Filter liegen manchmal falsch.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- GuardrailsSchutzregeln und Filter rund um ein Modell, die unerwünschte oder gefährliche Ausgaben verhindern sollen.
- JailbreakVersuch, die Sicherheitsregeln eines Modells mit geschickten Prompts zu umgehen.
- Red TeamingGezieltes Angreifen und Stresstesten eines KI-Modells oder KI-Systems, um Schwachstellen zu finden, bevor andere sie ausnutzen. Das US-Institut NIST beschreibt KI-Red-Teaming als Übungen, die oft in einer kontrollierten Umgebung und zusammen mit den Entwicklern stattfinden, um mögliches schädliches Verhalten eines Modells zu erkennen und Schutzmaßnahmen auf die Probe zu stellen. Es kann vor oder nach der Veröffentlichung eines Modells laufen.
- Prompt-InjectionAngriff, bei dem versteckte Anweisungen in Texten, Webseiten oder Dateien eine KI dazu bringen sollen, ihre eigentlichen Regeln zu ignorieren.
Kurz gefragt
Was ist Moderation?
Automatische Prüfung von Texten oder Bildern auf schädliche Inhalte, bevor sie verarbeitet oder angezeigt werden. OpenAI bietet dafür Moderationsmodelle an: Laut Doku erkennt das Modell omni-moderation-latest schädliche Inhalte in Text und Bildern, der Moderation-Endpunkt ist kostenlos. Das Ergebnis markiert Inhalte als auffällig (flagged) und nennt Kategorien und Werte, mit denen deine Anwendung filtern, eine menschliche Prüfung anstoßen oder Konten sperren kann.
Was ist ein Beispiel für Moderation?
Eine Community-App schickt jeden neuen Kommentar vor dem Veröffentlichen an einen Moderationsendpunkt. Ist er als auffällig markiert, landet er in einer Warteschlange für die menschliche Prüfung statt direkt online.
Worauf sollte ich bei Moderation achten?
Leg vorher fest, was bei einer Markierung passieren soll: blockieren, zur Prüfung schicken oder nur protokollieren. Prüf regelmäßig Stichproben, denn auch automatische Filter liegen manchmal falsch.
Weiter geht's 🧭
Thematisch am nächsten dran, ausgewählt per Textvergleich.
Passt dazu 6
- GlossarWas ist Excessive Agency? Einfach erklärt mit Beispiel
- GlossarWas ist Computer Use? Einfach erklärt mit Beispiel
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- TutorialKI-Agenten verstehen und sinnvoll einsetzen: Tutorial
- PromptMidjourney: Störende Elemente mit --no ausschließen
- RatgeberProduktbeschreibungen mit KI in Serie: Daten, Qualität, Duplikate
Wer hierher verlinkt 5
Gut vernetzt: 5 Seiten zeigen auf diese hier. Die passendsten:
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?