8 Minuten Lesezeit · geprüft am 17.11.2026

KI-Crawler in der robots.txt steuern: sichtbar in KI-Suchen bleiben, Training ausschließen

Für Website-Betreiber in Deutschland, Österreich und der Schweiz: welche KI-Crawler suchen, welche trainieren und welche nur für einzelne Nutzerfragen abrufen, laut den Dokus von OpenAI, Google, Perplexity und Anthropic. Mit Beispiel-robots.txt, den Grenzen der Datei, dem Bezug zu § 44b UrhG und sechs Prüfschritten. Stand November 2026, keine Rechtsberatung.

Hans sagt: Die robots.txt ist schnell geändert und genauso schnell kaputt. Eine Zeile zu viel, und du fliegst aus der KI-Suche. Darum gehört zu jeder Änderung ein kurzer Test, nicht nur ein gutes Gefühl.

Worum es hier geht und worum nicht

Dieser Ratgeber ist die Werkstattanleitung: welche Kennungen du kennen musst, wie die Regeln in der robots.txt zusammenspielen und wie du nach jeder Änderung prüfst, ob deine Seite in ChatGPT, Perplexity, Claude und im Google KI-Modus noch auftauchen kann.

Abgrenzung: Die neue gemeinsame Kennung __usage_ai-training und die Termine bei Bing und Google erklärt der Ratgeber „KI-Training per robots.txt ausschließen“. Wie du deine Sichtbarkeit in KI-Suchen misst und verbesserst, steht im Ratgeber zu GEO und KI-Sichtbarkeit. Hier geht es um die Zugangsregeln und ihre Kontrolle.

Drei Arten von KI-Abrufen

Erstens Trainings-Crawler. Sie sammeln Inhalte, die in künftige Modelle einfließen können. Laut OpenAI ist das GPTBot, laut Anthropic ClaudeBot. Google nutzt kein eigenes Programm dafür, sondern die Steuerkennung Google-Extended: Sie regelt laut Google, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini-Apps und bei Vertex AI genutzt werden.

Zweitens Such-Crawler. Sie bauen den Index, aus dem ein Assistent Quellen nennt. OAI-SearchBot ist laut OpenAI für die Suchfunktionen in ChatGPT zuständig, PerplexityBot laut Perplexity für Suchergebnisse und ausdrücklich nicht für das Training von Basismodellen, Claude-SearchBot laut Anthropic für die Suchqualität in Claude. Bei Google übernimmt das der normale Googlebot, auch für KI-Übersichten und den KI-Modus.

Drittens Abrufe im Auftrag eines Nutzers: ChatGPT-User, Perplexity-User und Claude-User. Sie holen eine Seite, wenn jemand im Chat konkret danach fragt. OpenAI schreibt, dass robots.txt-Regeln dafür womöglich nicht gelten, Perplexity schreibt, dass Perplexity-User die robots.txt in der Regel ignoriert. Anthropic dagegen nennt Claude-User als Kennung, mit der du solche Abrufe steuern kannst.

KI-Kennungen laut Herstellerdoku, Stand 17.11.2026
KennungAnbieterArtEmpfehlung, wenn du sichtbar bleiben willst
GPTBotOpenAITrainingSperren, wenn du kein Training willst
OAI-SearchBotOpenAISuche in ChatGPTErlauben
ChatGPT-UserOpenAIAbruf für eine NutzerfrageErlauben, robots.txt greift laut OpenAI womöglich nicht
Google-ExtendedGoogleGemini-Training und Grounding in Gemini-AppsSperren möglich, kein Einfluss auf die Google-Suche
GooglebotGoogleSuche inklusive KI-Übersichten und KI-ModusErlauben
PerplexityBotPerplexitySuche, laut Anbieter kein TrainingErlauben
Perplexity-UserPerplexityAbruf für eine NutzerfrageIgnoriert die robots.txt laut Anbieter in der Regel
ClaudeBotAnthropicTrainingSperren, wenn du kein Training willst
Claude-SearchBotAnthropicSuche in ClaudeErlauben
Claude-UserAnthropicAbruf für eine NutzerfrageErlauben

Beispiel-robots.txt: Training aus, KI-Suche an

Die Datei liegt immer im Stammverzeichnis, also unter deinedomain.de/robots.txt. Jeder Block besteht aus einer User-agent-Zeile und seinen Regeln, zwischen den Blöcken steht eine Leerzeile. Die Such-Kennungen tauchen absichtlich nicht auf: Für sie gilt der letzte Block mit dem Sternchen.

Wichtig für eigene Anpassungen: Laut Google sucht sich ein Crawler den Block mit der genauesten passenden Kennung, alle anderen Blöcke ignoriert er, und die Reihenfolge spielt keine Rolle. Ein Block für GPTBot übernimmt also nichts aus dem Sternchen-Block. Willst du zum Beispiel einen Ordner für alle sperren, muss diese Zeile in jedem eigenen Block noch einmal stehen.

Beispiel-robots.txt, Block für Block
Zeilen in der robots.txtWas sie bewirkt
User-agent: GPTBot / Disallow: /Kein Training bei OpenAI, die ChatGPT-Suche bleibt offen
User-agent: ClaudeBot / Disallow: /Kein Training bei Anthropic, die Claude-Suche bleibt offen
User-agent: Google-Extended / Disallow: /Kein Gemini-Training und kein Grounding in Gemini-Apps, Google-Suche und KI-Modus bleiben unberührt
User-agent: * / Allow: /Alle anderen, auch Googlebot, OAI-SearchBot, PerplexityBot und Claude-SearchBot, dürfen rein
Sitemap: https://deinedomain.de/sitemap.xmlZeigt allen Crawlern deine Sitemap

Die Grenzen der robots.txt

Die robots.txt ist eine Bitte, kein Schloss. Anthropic schreibt, dass seine Bots die Regeln in der robots.txt beachten, OpenAI und Perplexity steuern ihre Crawler laut eigener Doku ebenfalls über die robots.txt. Bei Abrufen im Auftrag eines Nutzers machen OpenAI und Perplexity Einschränkungen, und wer sich nicht an die Regeln halten will, liest die Datei gar nicht erst. Wer Inhalte wirklich schützen muss, braucht Login oder Firewall.

Zweitens wirkt eine Sperre nur nach vorn. Anthropic schreibt, dass eine Sperre für ClaudeBot künftige Inhalte aus dem Training ausschließen soll. Was schon gesammelt wurde, holst du mit der robots.txt nicht zurück.

Drittens dauert es. OpenAI nennt für die Suche etwa 24 Stunden, bis eine Änderung bei den eigenen Systemen ankommt, Perplexity bis zu 24 Stunden.

Bezug zum Urheberrecht: § 44b UrhG

Das deutsche Urheberrechtsgesetz erlaubt in § 44b Vervielfältigungen von rechtmäßig zugänglichen Werken für Text und Data Mining, also die automatisierte Analyse von Werken, um Muster, Trends und Korrelationen zu finden. Laut Absatz 3 gilt das nur, wenn sich der Rechtsinhaber diese Nutzung nicht vorbehalten hat. Bei online zugänglichen Werken ist ein solcher Vorbehalt nur wirksam, wenn er in maschinenlesbarer Form erfolgt.

Welche Form das genau sein muss, steht nicht im Gesetz. Die robots.txt ist maschinenlesbar, ob sie im Einzelfall als Vorbehalt reicht, entscheiden Gerichte. Ich bin SEO, kein Anwalt: Das hier ist keine Rechtsberatung. Für Österreich und die Schweiz gelten eigene Gesetze, dort fragst du am besten jemanden vor Ort.

Sechs Prüfschritte nach jeder Änderung

Schritt 1: Ruf deinedomain.de/robots.txt im Browser auf, am besten in einem privaten Fenster. Steht dort, was du eingetragen hast? Caches und Plugins liefern manchmal eine alte oder eine automatisch erzeugte Fassung aus.

Schritt 2: Lies jede User-agent-Zeile gegen die Doku des Anbieters. Ein Tippfehler im Namen heißt, dass der Block für niemanden gilt. Prüf außerdem, dass es keinen Block „User-agent: *“ mit „Disallow: /“ gibt, der sonst auch Googlebot aussperrt.

Schritt 3: Schau in die Firewall und in Sicherheits-Plugins. Perplexity weist darauf hin, dass du seine Bots in einer Web Application Firewall unter Umständen ausdrücklich freigeben musst. Eine erlaubende robots.txt nützt nichts, wenn die Firewall die Anfrage vorher abweist.

Schritt 4: Such in deinen Server-Logs nach den Kennungen, etwa OAI-SearchBot, PerplexityBot oder Claude-SearchBot. OpenAI und Perplexity veröffentlichen die IP-Adressen ihrer Bots. Taucht ein Name mit einer fremden IP auf, gibt sich dort jemand nur als der Bot aus.

Schritt 5: Prüf bei Google mit der URL-Prüfung in der Search Console, ob Googlebot die Seite abrufen darf und was er sieht. Google empfiehlt dieses Werkzeug auch, wenn du wissen willst, welches HTML Googlebot bekommen hat.

Schritt 6: Warte mindestens einen Tag und stell dann in der ChatGPT-Suche, bei Perplexity, in Claude und im Google KI-Modus eine Frage, die deine Seite beantwortet. Notier, ob du als Quelle erscheinst. Ein einzelner Test beweist wenig, eine kleine Liste fester Testfragen im Monatsabstand zeigt den Trend.

Quellen und Stand 🔎

Alle Angaben zu Regeln, Preisen und Funktionen wurden am 17. November 2026 mit diesen Quellen abgeglichen. Zahlen zur Verzeichnisliste stammen aus der eigenen mentat.codes-Datenbank.

Fuer deine Werkbank

Heute gelernt: 3 Schrauber-Erkenntnisse zum Mitnehmen 💡

Kein theoretisches Blabla: Drei handfeste Punkte, die du aus diesem Ratgeber fuer dein Projekt mitnimmst. Hak sie ab, sobald du sie verstanden hast.

Fortschritt: 0 von 3 Erkenntnissen verinnerlicht (0%)
Die 3 wichtigsten Erkenntnisse zum Abhaken

Training, Suche und Nutzerabruf trennen

Sperre Trainings-Kennungen wie GPTBot, ClaudeBot oder Google-Extended und lass OAI-SearchBot, PerplexityBot, Claude-SearchBot und Googlebot rein. Den Google KI-Modus steuert Googlebot, nicht Google-Extended.

robots.txt ist eine Bitte, kein Schloss

Serioese Crawler halten sich daran, Abrufe fuer einzelne Nutzerfragen teils nicht. Ein Block fuer einen Bot erbt nichts vom Sternchen-Block. Ob die Datei als Vorbehalt nach § 44b UrhG reicht, ist eine Rechtsfrage.

Nach jeder Aenderung pruefen

Datei im Browser ansehen, Namen gegen die Herstellerdoku pruefen, Firewall und Logs checken, Googlebot per URL-Pruefung testen und nach einem Tag feste Testfragen in den KI-Suchen stellen.

Häufige Fragen 🙋

Fliege ich aus dem Google KI-Modus, wenn ich Google-Extended sperre?

Nein. Google schreibt, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch ein Rankingsignal ist. Für die KI-Funktionen in der Suche, also KI-Übersichten und KI-Modus, ist laut Google die robots.txt-Regel für Googlebot der Schalter. Wer Googlebot sperrt, verschwindet aus der Suche insgesamt.

Warum ruft ChatGPT meine Seite ab, obwohl ich GPTBot gesperrt habe?

Weil das ein anderer Abruf ist. GPTBot steht laut OpenAI für Training. Fragt jemand in ChatGPT nach deiner Seite, kommt ChatGPT-User. OpenAI schreibt dazu, dass robots.txt-Regeln für diese von Nutzern ausgelösten Abrufe womöglich nicht gelten. Perplexity schreibt Ähnliches über Perplexity-User.

Reicht ein Eintrag in der robots.txt als Vorbehalt nach § 44b UrhG?

Das Gesetz verlangt bei online zugänglichen Werken einen Vorbehalt in maschinenlesbarer Form, legt aber nicht fest, welche Form genau gemeint ist. Ob eine robots.txt reicht, ist eine juristische Frage. Das hier ist keine Rechtsberatung, im Zweifel fragst du eine Anwältin oder einen Anwalt.

Weiterlesen und loslegen

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?