8 Minuten Lesezeit · geprüft am 17.11.2026
KI-Crawler in der robots.txt steuern: sichtbar in KI-Suchen bleiben, Training ausschließen
Für Website-Betreiber in Deutschland, Österreich und der Schweiz: welche KI-Crawler suchen, welche trainieren und welche nur für einzelne Nutzerfragen abrufen, laut den Dokus von OpenAI, Google, Perplexity und Anthropic. Mit Beispiel-robots.txt, den Grenzen der Datei, dem Bezug zu § 44b UrhG und sechs Prüfschritten. Stand November 2026, keine Rechtsberatung.
Worum es hier geht und worum nicht
Dieser Ratgeber ist die Werkstattanleitung: welche Kennungen du kennen musst, wie die Regeln in der robots.txt zusammenspielen und wie du nach jeder Änderung prüfst, ob deine Seite in ChatGPT, Perplexity, Claude und im Google KI-Modus noch auftauchen kann.
Abgrenzung: Die neue gemeinsame Kennung __usage_ai-training und die Termine bei Bing und Google erklärt der Ratgeber „KI-Training per robots.txt ausschließen“. Wie du deine Sichtbarkeit in KI-Suchen misst und verbesserst, steht im Ratgeber zu GEO und KI-Sichtbarkeit. Hier geht es um die Zugangsregeln und ihre Kontrolle.
Drei Arten von KI-Abrufen
Erstens Trainings-Crawler. Sie sammeln Inhalte, die in künftige Modelle einfließen können. Laut OpenAI ist das GPTBot, laut Anthropic ClaudeBot. Google nutzt kein eigenes Programm dafür, sondern die Steuerkennung Google-Extended: Sie regelt laut Google, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini-Apps und bei Vertex AI genutzt werden.
Zweitens Such-Crawler. Sie bauen den Index, aus dem ein Assistent Quellen nennt. OAI-SearchBot ist laut OpenAI für die Suchfunktionen in ChatGPT zuständig, PerplexityBot laut Perplexity für Suchergebnisse und ausdrücklich nicht für das Training von Basismodellen, Claude-SearchBot laut Anthropic für die Suchqualität in Claude. Bei Google übernimmt das der normale Googlebot, auch für KI-Übersichten und den KI-Modus.
Drittens Abrufe im Auftrag eines Nutzers: ChatGPT-User, Perplexity-User und Claude-User. Sie holen eine Seite, wenn jemand im Chat konkret danach fragt. OpenAI schreibt, dass robots.txt-Regeln dafür womöglich nicht gelten, Perplexity schreibt, dass Perplexity-User die robots.txt in der Regel ignoriert. Anthropic dagegen nennt Claude-User als Kennung, mit der du solche Abrufe steuern kannst.
| Kennung | Anbieter | Art | Empfehlung, wenn du sichtbar bleiben willst |
|---|---|---|---|
| GPTBot | OpenAI | Training | Sperren, wenn du kein Training willst |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | Erlauben |
| ChatGPT-User | OpenAI | Abruf für eine Nutzerfrage | Erlauben, robots.txt greift laut OpenAI womöglich nicht |
| Google-Extended | Gemini-Training und Grounding in Gemini-Apps | Sperren möglich, kein Einfluss auf die Google-Suche | |
| Googlebot | Suche inklusive KI-Übersichten und KI-Modus | Erlauben | |
| PerplexityBot | Perplexity | Suche, laut Anbieter kein Training | Erlauben |
| Perplexity-User | Perplexity | Abruf für eine Nutzerfrage | Ignoriert die robots.txt laut Anbieter in der Regel |
| ClaudeBot | Anthropic | Training | Sperren, wenn du kein Training willst |
| Claude-SearchBot | Anthropic | Suche in Claude | Erlauben |
| Claude-User | Anthropic | Abruf für eine Nutzerfrage | Erlauben |
Beispiel-robots.txt: Training aus, KI-Suche an
Die Datei liegt immer im Stammverzeichnis, also unter deinedomain.de/robots.txt. Jeder Block besteht aus einer User-agent-Zeile und seinen Regeln, zwischen den Blöcken steht eine Leerzeile. Die Such-Kennungen tauchen absichtlich nicht auf: Für sie gilt der letzte Block mit dem Sternchen.
Wichtig für eigene Anpassungen: Laut Google sucht sich ein Crawler den Block mit der genauesten passenden Kennung, alle anderen Blöcke ignoriert er, und die Reihenfolge spielt keine Rolle. Ein Block für GPTBot übernimmt also nichts aus dem Sternchen-Block. Willst du zum Beispiel einen Ordner für alle sperren, muss diese Zeile in jedem eigenen Block noch einmal stehen.
| Zeilen in der robots.txt | Was sie bewirkt |
|---|---|
| User-agent: GPTBot / Disallow: / | Kein Training bei OpenAI, die ChatGPT-Suche bleibt offen |
| User-agent: ClaudeBot / Disallow: / | Kein Training bei Anthropic, die Claude-Suche bleibt offen |
| User-agent: Google-Extended / Disallow: / | Kein Gemini-Training und kein Grounding in Gemini-Apps, Google-Suche und KI-Modus bleiben unberührt |
| User-agent: * / Allow: / | Alle anderen, auch Googlebot, OAI-SearchBot, PerplexityBot und Claude-SearchBot, dürfen rein |
| Sitemap: https://deinedomain.de/sitemap.xml | Zeigt allen Crawlern deine Sitemap |
Die Grenzen der robots.txt
Die robots.txt ist eine Bitte, kein Schloss. Anthropic schreibt, dass seine Bots die Regeln in der robots.txt beachten, OpenAI und Perplexity steuern ihre Crawler laut eigener Doku ebenfalls über die robots.txt. Bei Abrufen im Auftrag eines Nutzers machen OpenAI und Perplexity Einschränkungen, und wer sich nicht an die Regeln halten will, liest die Datei gar nicht erst. Wer Inhalte wirklich schützen muss, braucht Login oder Firewall.
Zweitens wirkt eine Sperre nur nach vorn. Anthropic schreibt, dass eine Sperre für ClaudeBot künftige Inhalte aus dem Training ausschließen soll. Was schon gesammelt wurde, holst du mit der robots.txt nicht zurück.
Drittens dauert es. OpenAI nennt für die Suche etwa 24 Stunden, bis eine Änderung bei den eigenen Systemen ankommt, Perplexity bis zu 24 Stunden.
Bezug zum Urheberrecht: § 44b UrhG
Das deutsche Urheberrechtsgesetz erlaubt in § 44b Vervielfältigungen von rechtmäßig zugänglichen Werken für Text und Data Mining, also die automatisierte Analyse von Werken, um Muster, Trends und Korrelationen zu finden. Laut Absatz 3 gilt das nur, wenn sich der Rechtsinhaber diese Nutzung nicht vorbehalten hat. Bei online zugänglichen Werken ist ein solcher Vorbehalt nur wirksam, wenn er in maschinenlesbarer Form erfolgt.
Welche Form das genau sein muss, steht nicht im Gesetz. Die robots.txt ist maschinenlesbar, ob sie im Einzelfall als Vorbehalt reicht, entscheiden Gerichte. Ich bin SEO, kein Anwalt: Das hier ist keine Rechtsberatung. Für Österreich und die Schweiz gelten eigene Gesetze, dort fragst du am besten jemanden vor Ort.
Sechs Prüfschritte nach jeder Änderung
Schritt 1: Ruf deinedomain.de/robots.txt im Browser auf, am besten in einem privaten Fenster. Steht dort, was du eingetragen hast? Caches und Plugins liefern manchmal eine alte oder eine automatisch erzeugte Fassung aus.
Schritt 2: Lies jede User-agent-Zeile gegen die Doku des Anbieters. Ein Tippfehler im Namen heißt, dass der Block für niemanden gilt. Prüf außerdem, dass es keinen Block „User-agent: *“ mit „Disallow: /“ gibt, der sonst auch Googlebot aussperrt.
Schritt 3: Schau in die Firewall und in Sicherheits-Plugins. Perplexity weist darauf hin, dass du seine Bots in einer Web Application Firewall unter Umständen ausdrücklich freigeben musst. Eine erlaubende robots.txt nützt nichts, wenn die Firewall die Anfrage vorher abweist.
Schritt 4: Such in deinen Server-Logs nach den Kennungen, etwa OAI-SearchBot, PerplexityBot oder Claude-SearchBot. OpenAI und Perplexity veröffentlichen die IP-Adressen ihrer Bots. Taucht ein Name mit einer fremden IP auf, gibt sich dort jemand nur als der Bot aus.
Schritt 5: Prüf bei Google mit der URL-Prüfung in der Search Console, ob Googlebot die Seite abrufen darf und was er sieht. Google empfiehlt dieses Werkzeug auch, wenn du wissen willst, welches HTML Googlebot bekommen hat.
Schritt 6: Warte mindestens einen Tag und stell dann in der ChatGPT-Suche, bei Perplexity, in Claude und im Google KI-Modus eine Frage, die deine Seite beantwortet. Notier, ob du als Quelle erscheinst. Ein einzelner Test beweist wenig, eine kleine Liste fester Testfragen im Monatsabstand zeigt den Trend.
Quellen und Stand 🔎
Alle Angaben zu Regeln, Preisen und Funktionen wurden am 17. November 2026 mit diesen Quellen abgeglichen. Zahlen zur Verzeichnisliste stammen aus der eigenen mentat.codes-Datenbank.
- OpenAI: Overview of OpenAI Crawlers
- Google: Google-Extended in der Liste der allgemeinen Crawler
- Google Search Central: AI features and your website
- Google Search Central: How Google interprets the robots.txt specification
- Perplexity: Perplexity Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- § 44b UrhG Text und Data Mining, gesetze-im-internet.de
Heute gelernt: 3 Schrauber-Erkenntnisse zum Mitnehmen 💡
Kein theoretisches Blabla: Drei handfeste Punkte, die du aus diesem Ratgeber fuer dein Projekt mitnimmst. Hak sie ab, sobald du sie verstanden hast.
Häufige Fragen 🙋
Fliege ich aus dem Google KI-Modus, wenn ich Google-Extended sperre?
Nein. Google schreibt, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch ein Rankingsignal ist. Für die KI-Funktionen in der Suche, also KI-Übersichten und KI-Modus, ist laut Google die robots.txt-Regel für Googlebot der Schalter. Wer Googlebot sperrt, verschwindet aus der Suche insgesamt.
Warum ruft ChatGPT meine Seite ab, obwohl ich GPTBot gesperrt habe?
Weil das ein anderer Abruf ist. GPTBot steht laut OpenAI für Training. Fragt jemand in ChatGPT nach deiner Seite, kommt ChatGPT-User. OpenAI schreibt dazu, dass robots.txt-Regeln für diese von Nutzern ausgelösten Abrufe womöglich nicht gelten. Perplexity schreibt Ähnliches über Perplexity-User.
Reicht ein Eintrag in der robots.txt als Vorbehalt nach § 44b UrhG?
Das Gesetz verlangt bei online zugänglichen Werken einen Vorbehalt in maschinenlesbarer Form, legt aber nicht fest, welche Form genau gemeint ist. Ob eine robots.txt reicht, ist eine juristische Frage. Das hier ist keine Rechtsberatung, im Zweifel fragst du eine Anwältin oder einen Anwalt.
Weiterlesen und loslegen
- Ratgeber: KI-Training per robots.txt ausschließen →
- Ratgeber: Sichtbar in KI-Antworten →
- Glossar: Google-Extended →
- Glossar: OAI-SearchBot →
- Glossar: PerplexityBot →
- Glossar: KI-Modus →
- Glossar: KI-Crawler →
- Glossar: Text-und-Data-Mining-Vorbehalt →
- Skill: KI-Sichtbarkeit →
- KI-Tool in Verzeichnisse eintragen: die komplette Anleitung →
- Bringen KI-Verzeichnisse etwas für SEO? Eine ehrliche Einordnung →
- Product Hunt Launch auf Deutsch: Vorbereitung, Ablauf, Fallstricke →
- Product-Hunt-Alternativen: 12 Launch-Plattformen für Gründer →
- Welcher Newsletter-Anbieter für Gründer? beehiiv, Kit, Brevo und GetResponse im Vergleich →
- KI-Tools und Datenschutz: die DSGVO-Checkliste für den Einsatz im Unternehmen →
- KI-Bildgeneratoren 2026: Midjourney, Leonardo AI, Canva und kostenlose Alternativen →
- KI-Video-Tools 2026: Runway, Synthesia, HeyGen, InVideo, Descript und Pictory im Überblick →
- KI-Tool launchen in 30 Tagen: der Plan von der ersten Einreichung bis zu echten Nutzern →
- ChatGPT, Claude oder Gemini: welcher Chatbot passt zu welcher Aufgabe? →
- KI-Agenten für Selbstständige 2026: Was in Deutschland wirklich geht →
- KI-Modelle in Automationen zukunftssicher betreiben: Fristen, Preise und Wechsel ohne Ausfall →
- Sichtbar in ChatGPT und im Google KI-Modus: Werbung und SEO in KI-Antworten 2026 →
- Open-Weight-Modelle 2026: Wann sich eigene KI für kleine Firmen lohnt →
- KI-Telefonassistent und Sprach-Agenten 2026: Was sie können, was sie kosten, was erlaubt ist →
- KI-Skills statt Copy-Paste-Prompts: Wiederkehrende Aufgaben einmal beibringen, überall nutzen →
- KI-Browser 2026: Comet, Chrome mit Gemini, Edge mit Copilot und Opera im Praxis-Check →
- Lokale KI 2026: Was auf deinem Laptop und im Browser schon geht, ganz ohne Cloud →
- Vibe Coding: Apps bauen mit Lovable, Bolt und v0 →
- KI-Musik und Rechte: was das GEMA-Urteil gegen Suno bedeutet →
- Lokale Modelle für Datenschutz: Ollama, GPT4All und Open WebUI im Vergleich für kleine Büros →
- Barrierefreiheit für kleine Websites seit 2025: was das BFSG verlangt und wie KI beim Alt-Text hilft →
- KI-Meeting-Notizen im Team: Fireflies, tl;dv, Otter und lokale Alternativen im Datenschutz-Check →
- KI-Bildgeneratoren kommerziell nutzen: was Midjourney, Leonardo, Ideogram, Flux und Canva in ihren Nutzungsbedingungen zu Rechten sagen →
- KI-Chatbot für die eigene Website: SiteGPT, SiteSpeakAI, Aidbase, Chatfuel und Tiledesk im Überblick für kleine Firmen →
- Bei KI-Antworten zitiert werden: Prüfplan, wie oft ChatGPT, Perplexity und der Google KI-Modus deine Marke nennen →
- KI-Kundenservice per E-Mail: Antwortvorlagen bauen, Mensch gibt frei, Datenschutz im Griff →
- Präsentationen mit KI erstellen: Gamma, Copilot in PowerPoint, Canva und Co. im Ablauf, mit Prüfliste und Grenzen →
- Produktfotos mit KI für den Onlineshop: Freisteller, Hintergründe, Kennzeichnung →
- KI im Recruiting kleiner Firmen: Stellenanzeigen schreiben, Vorauswahl vorsichtig, Pflichten kennen →
- Website und Shop mit KI übersetzen: Ablauf, Qualität, mehrsprachiges SEO →
- Google-Unternehmensprofil mit KI pflegen: Beiträge, Bewertungen, Fragen →
- KI im Verein und Ehrenamt: Protokolle, Mitgliederkommunikation, Datenschutz →
- Belege und Rechnungen mit KI vorsortieren: Ablauf, Grenzen, Aufbewahrung →
- Recherche mit KI-Suchmaschinen: Quellen prüfen, Zitate absichern →
- Produktbeschreibungen mit KI in Serie: Datenbasis, Qualität, Duplicate Content →
- Einfache Sprache und Leichte Sprache mit KI: Unterschied, Ablauf, Prüfung →
- KI-Videos auf Social Media kennzeichnen: Regeln von YouTube, Instagram und TikTok →
- Interviews mit KI transkribieren: Genauigkeit, Datenschutz und Nacharbeit für Journalismus, Forschung und Podcasts →
- Der erste KI-Workflow: Schritt für Schritt mit Zapier, Make oder n8n →
- Förderanträge mit KI vorbereiten: Ausschreibung lesen, Gliederung, Eigenleistung →
- Prompt Injection im Alltag: Wenn KI-Agenten fremde Inhalte lesen →
- KI-Abos im Griff: Tarife vergleichen, kündigen, Kosten im Blick behalten →
- KI-Bilder für Social Media in Serie: Formate, Markenstil, Kennzeichnung →
- Kundenanfragen per E-Mail mit KI beantworten: sortieren, Textbausteine, Freigabe und ehrlicher Hinweis an Kunden →
- KI-Übersicht bei Markensuchen: 0 von 40 DAX-Marken in unserer google.de-Stichprobe am 15.11.2026 →
- Gestohlene KI-API-Schlüssel: Was 2026 passiert ist und wie du dich schützt →
- 30 „kostenlose“ KI-Verzeichnisse an einem Tag getestet: 4 haben funktioniert →
- KI-Comic mit konsistenten Figuren: Charakterbibel statt Prompt-Lotterie →
- Comic-Drehbuch mit KI: 10 Seiten planen, 50 Panels sauber schreiben →
- Gamma für einen KI-Comic: Was funktioniert und wo 200 Seiten scheitern →
- Ein KI-Projekt in LinkedIn und Substack verwandeln, ohne Copy-Paste-Spam →
- GitHub-first Publishing für KI-Content: Merge, Review und echte Veröffentlichung trennen →
- ChatGPT-Verlauf löschen, archivieren oder ausschalten: Schritt für Schritt →
- Claude Memory: was Claude sich merkt und wie du es steuerst →
- ChatGPT-Projekte vs. Claude-Projekte: wo deine Arbeit besser aufgehoben ist →
- Chats exportieren und umziehen: ChatGPT, Claude und Gemini im Überblick →
- ChatGPT Memory erklärt: was das Gedächtnis speichert und wie du es steuerst →
- ChatGPT für die Bewerbung: vom Lebenslauf bis zur Gehaltsfrage →
- Mit ChatGPT übersetzen: Glossar, Tonfall, Lokalisierung →
- Prompt-Vorlagen: so findest und nutzt du die passende →
- ChatGPT und Excel: Formeln bauen, Tabellen auswerten, Daten bereinigen →
- ChatGPT Agent erklärt: vom Agentenmodus zu ChatGPT Work →
- SEO-Prompts für ChatGPT: was die KI übernimmt und was dein SEO-Tool →
- GPTs erstellen: was nach dem Aus der Custom GPTs noch geht →
- Prompt Engineering: der Leitfaden auf Deutsch →
- Was wurde aus Mentat? Die Geschichte hinter dieser Domain →
- Welche KI programmiert im Terminal am besten? Neun Coding-Agenten im Vergleich →
- Claude Code auf Deutsch: die Anleitung für deinen ersten Arbeitstag mit dem Agenten →
- Claude Code installieren: Windows ohne WSL, macOS, Linux und die 6 häufigsten Fehler →
- Was kostet Claude Code? Pro, Max, Ultra und API im Vergleich, mit Rechenbeispiel →
- Codex CLI auf Deutsch: installieren, anmelden und sicher loslegen →
- Claude Code oder Codex: welcher Coding-Agent passt zu dir? →
- AGENTS.md und CLAUDE.md: so richtest du beide richtig ein →
- Gemini CLI eingestellt? So steigst du auf die Antigravity CLI um →
- Aider mit Ollama: lokal programmieren, ohne dass Code das Haus verlässt →
- Cursor-Alternative kostenlos: Editoren, Open Source und Terminal-Agenten →
- Claude Code vom Handy steuern, auch per Sprache →
- Mehrere KI-Agenten parallel laufen lassen, ohne Chaos →
- GitHub-Konto gesperrt, während KI-Agenten arbeiten: Ursachen, Einspruch, Schutz →
- Website ohne GitHub veröffentlichen: direkt zu Cloudflare →
- E-Rechnung 2027: Wer ab 1. Januar muss und wo KI wirklich hilft →
- KI-Kennzeichnungspflicht: Wer ab 2. Dezember was kennzeichnen muss →
- AI Act Fristen 2026 bis 2028: alle Termine nach dem Digital Omnibus →
- Neues Produkthaftungsgesetz ab 9. Dezember 2026: Software und KI haften wie Produkte →
- Cyber Resilience Act: Was Software- und App-Anbieter bis Dezember 2027 tun müssen →
- d-you: Die digitale Brieftasche (EUDI-Wallet) startet am 2. Januar 2027 →
- KI-Checkliste 2027: Alle Fristen für Selbstständige und Mittelstand auf einen Blick →
- KI im Recruiting und im Personalbereich: Was ab 2. Dezember 2027 als Hochrisiko gilt →
- Cloud oder SaaS wechseln ohne Wechselgebühr: Was der Data Act ab 12. Januar 2027 ändert →
- NIS-2-Schulung für Geschäftsführer: Was § 38 BSIG verlangt und was im BSI-Curriculum steht →
- KI-Training per robots.txt ausschließen: So bleibst du trotzdem in KI-Antworten sichtbar →
- Siri AI in Deutschland: Wann sie kommt und was du jetzt schon nutzen kannst →
- Adventskalender mit KI selber machen: 24 persönliche Türchen in 20 Minuten →
- Weihnachtskarten mit KI: eigenes Motiv, persönlicher Text, fertig zum Drucken →
- Eigenes Weihnachtslied mit KI: Song mit Suno, Musikvideo mit Kaiber →
- Video vom Weihnachtsmann mit KI: persönliche Botschaft für dein Kind →
- Geschenkideen mit KI: So findet ChatGPT das passende Weihnachtsgeschenk →
- Weihnachtsgrüße an Kunden mit KI: persönlich statt Floskel →
- Weihnachtsmenü mit KI planen: Menü, Einkaufsliste und Zeitplan ohne Stress →
- Weihnachtsgedicht und Rede zur Weihnachtsfeier mit KI: persönlich und kurz →
- Jahresrückblick 2026 mit KI: Jahresbrief, Fotovideo und LinkedIn-Post →
- Neujahrsvorsätze mit KI: So wird ChatGPT zum Coach, der dranbleibt →
- Steuererklärung 2026 mit KI: Belege sortieren, Anlagen verstehen, Fehler vermeiden →
- Valentinstag und Karneval 2027 mit KI: Liebesbrief, Kostümideen und Büttenrede →
- KI bei Facharbeit, Präsentationsprüfung und Abitur: was erlaubt ist und wie du sie angibst →
- Bewerbung um einen Ausbildungsplatz mit KI: Anschreiben, Lebenslauf, Einstellungstest und Gespräch →
- Launch-Kit öffnen →
- Zu allen KI-Verzeichnissen →