KI-Glossar · KI-Begriff 178 von 218
Was ist Excessive Agency?
Sicherheitsrisiko für Anwendungen mit Sprachmodellen aus den OWASP Top 10 für LLM-Anwendungen. OWASP beschreibt es als Schwachstelle, die schädliche Aktionen als Reaktion auf unerwartete, mehrdeutige oder manipulierte Modellausgaben ermöglicht. Als typische Ursachen nennt OWASP zu viel Funktionalität, zu viele Berechtigungen und zu viel Autonomie des Agenten. Auslöser können etwa Halluzinationen oder Prompt-Injection sein.
Beispiel aus der Praxis
Ein Assistent soll Dokumente aus einem Ordner nur lesen. Die eingebundene Erweiterung kann sie aber auch ändern und löschen. Eine manipulierte Eingabe reicht dann, damit das Modell Dateien löscht.
Darauf kommt es an
Gib einem Agenten nur die Werkzeuge, Berechtigungen und Freiheiten, die die Aufgabe braucht. Lass folgenreiche Aktionen wie Löschen, Zahlen oder Senden von einem Menschen bestätigen und prüf deine Anwendung gegen die aktuelle OWASP-Liste.
Verwandte Begriffe
- KI-AgentKI, die eine Aufgabe selbstständig in Schritte zerlegt, Werkzeuge nutzt und mehrere Schritte nacheinander abarbeitet.
- Tool Use (Function Calling)Fähigkeit eines Modells, externe Werkzeuge aufzurufen, etwa eine Suche, einen Rechner oder eine Schnittstelle, und das Ergebnis weiterzuverwenden.
- Prompt-InjectionAngriff, bei dem versteckte Anweisungen in Texten, Webseiten oder Dateien eine KI dazu bringen sollen, ihre eigentlichen Regeln zu ignorieren.
- GuardrailsSchutzregeln und Filter rund um ein Modell, die unerwünschte oder gefährliche Ausgaben verhindern sollen.
- SandboxAbgeschirmte Umgebung, in der ein Programm oder KI-Agent Dateien anlegen und Befehle ausführen darf, ohne den Rest des Rechners oder das Netzwerk zu gefährden.
Kurz gefragt
Was ist Excessive Agency?
Sicherheitsrisiko für Anwendungen mit Sprachmodellen aus den OWASP Top 10 für LLM-Anwendungen. OWASP beschreibt es als Schwachstelle, die schädliche Aktionen als Reaktion auf unerwartete, mehrdeutige oder manipulierte Modellausgaben ermöglicht. Als typische Ursachen nennt OWASP zu viel Funktionalität, zu viele Berechtigungen und zu viel Autonomie des Agenten. Auslöser können etwa Halluzinationen oder Prompt-Injection sein.
Was ist ein Beispiel für Excessive Agency?
Ein Assistent soll Dokumente aus einem Ordner nur lesen. Die eingebundene Erweiterung kann sie aber auch ändern und löschen. Eine manipulierte Eingabe reicht dann, damit das Modell Dateien löscht.
Worauf sollte ich bei Excessive Agency achten?
Gib einem Agenten nur die Werkzeuge, Berechtigungen und Freiheiten, die die Aufgabe braucht. Lass folgenreiche Aktionen wie Löschen, Zahlen oder Senden von einem Menschen bestätigen und prüf deine Anwendung gegen die aktuelle OWASP-Liste.
Weiter geht's 🧭
Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.
Passt dazu 6
- GlossarWas ist Human-in-the-Loop? Einfach erklärt mit Beispiel
- GlossarWas ist Computer Use? Einfach erklärt mit Beispiel
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- RubrikKI-Agenten: 89 Tools im Überblick
- VerzeichnisDigital Agency Network eintragen: Kosten & Domain Rating
- TutorialKI-Agenten verstehen und sinnvoll einsetzen: Tutorial
Wer hierher verlinkt 9
Gut vernetzt: 9 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist Human-in-the-Loop? Einfach erklärt mit Beispiel
- GlossarWas ist Sandbox? Einfach erklärt mit Beispiel
- GlossarWas ist eine Prompt-Injection? Einfach erklärt
- GlossarWas ist Computer Use? Einfach erklärt mit Beispiel
- RatgeberPrompt Injection im Alltag: KI-Agenten schützen
- GlossarKI-Glossar: KI- und SEO-Begriffe einfach erklärt
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?