7 Minuten Lesezeit · geprüft am 15.11.2026
KI-Training per robots.txt ausschließen: So bleibst du trotzdem in KI-Antworten sichtbar
Mit der neuen Kennung __usage_ai-training sagst du in der robots.txt, dass deine Inhalte nicht ins KI-Training sollen. Bing wertet sie ab 1. Februar 2027 aus, Google plant das für Anfang 2027. Welche Crawler trainieren, welche nur suchen und zitieren, eine fertige Beispiel-robots.txt und der häufigste Fehler. Stand November 2026, keine Rechtsberatung.
Training oder Suche: der Unterschied, der alles entscheidet
KI-Anbieter holen sich deine Seiten aus zwei Gründen. Erstens fürs Training: Deine Texte fließen in die Gewichte eines Modells ein und tauchen danach ohne Link und ohne Quelle als „Wissen“ auf. Zweitens für Suche und Zitat: Ein Assistent ruft deine Seite ab, wenn jemand fragt, und nennt dich als Quelle. Das Erste ist eine Spende, das Zweite ist Sichtbarkeit.
Für Selbstständige und Agenturen ist das der Kern: Training abschalten kann sinnvoll sein, Suche abschalten fast nie. Wer pauschal alle KI-Bots aussperrt, ist wie ein Werkstattbesitzer, der das Rolltor zumacht, damit keiner seine Tricks abschaut, und sich dann wundert, dass keine Kunden mehr reinkommen.
Was __usage_ai-training ist und was nicht
Seit Ende Oktober 2026 liegt bei der IETF der Entwurf draft-kelley-aipref-training-preference-signal. Er führt eine neue Kennung ein, die in der robots.txt wie ein Bot-Name aussieht: __usage_ai-training. Steht darunter „Disallow: /“, sagst du allen Anbietern, die die Kennung unterstützen, dass deine Inhalte nicht für das Training generativer KI-Modelle genutzt werden sollen. Mit „Allow“ für einzelne Pfade kannst du Ausnahmen machen, etwa für ein Pressefach.
Wichtig sind drei Details aus dem Entwurf: Ein Abschnitt für „User-Agent: *“ gilt nicht für diese Kennung, du musst sie also ausdrücklich nennen. Die Kennung regelt die Nutzung, nicht das Crawlen. Und wer gar nichts einträgt, hat laut Entwurf keine Präferenz geäußert.
Der Status ist ehrlich gesagt dünn: Es ist ein Einzelentwurf, kein IETF-Standard, er läuft am 3. Mai 2027 aus, wenn er nicht erneuert wird. Er stützt sich auf das Vokabular der IETF-Arbeitsgruppe AI Preferences, die ihre eigenen Entwürfe ebenfalls noch nicht abgeschlossen hat. Trotzdem lohnt es sich, die Zeile jetzt einzutragen, weil Bing und Google sie unterstützen wollen.
Die Termine bei Bing und Google
Microsoft hat Ende Oktober 2026 im Bing-Blog angekündigt, die gemeinsame Training-Präferenz zu unterstützen. Ab 1. Februar 2027 wertet Microsoft die neuen Präferenzen beim Crawlen aus. Bis 1. März 2027 solltest du deine Training-Präferenz in der robots.txt oder auf einzelnen Seiten veröffentlicht haben: Danach zählen NoArchive und NoCache laut Microsoft nicht mehr als Präferenz fürs Training. Für die Bing-Suche bleibst du laut Microsoft trotzdem zugelassen.
Für die Nutzung in KI-Antworten führt Microsoft eine eigene Präferenz namens AI Grounding ein. Die gibt es nur auf Seitenebene per Meta-Tag oder X-Robots-Tag, nicht in der robots.txt. Wer bisher NoArchive oder NoCache nutzt, kann ab 15. Dezember 2026 in den Bing Webmaster Tools eine vorübergehende Grounding-Einstellung hinterlegen.
Google schreibt in seiner Crawler-Dokumentation, die Kennung __usage_ai-training Anfang 2027 unterstützen zu wollen. Das ist ein Plan, kein Termin. Bis Google liefert, bleibt Google-Extended der Hebel für das Gemini-Training.
Welche KI-Crawler trainieren und welche zitieren
Bis alle Anbieter die gemeinsame Kennung lesen, brauchst du weiter die Namen der einzelnen Bots. Die Tabelle zeigt, was die Hersteller selbst über ihre Bots schreiben. Alles in der Spalte „Training“ kannst du sperren, ohne aus der KI-Suche zu fliegen.
Zwei Haken: Google-Extended steuert laut Google neben dem Training auch, ob Gemini-Apps deine Inhalte für Antworten nutzen. Die Google-Suche und ihre Funktionen bleiben davon unberührt. Und bei Apple kann Applebot laut Apple weiter Kontext für KI-Antworten liefern, auch wenn du Applebot-Extended sperrst. Dagegen hilft laut Apple das Meta-Tag nosnippet.
| Kennung | Anbieter | Zweck | Sperren? |
|---|---|---|---|
| GPTBot | OpenAI | Training | Sperren, wenn du kein Training willst |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | Erlauben, sonst keine ChatGPT-Suchtreffer |
| Google-Extended | Gemini-Training und Gemini-Apps | Sperren möglich, kein Einfluss auf die Google-Suche | |
| ClaudeBot | Anthropic | Training | Sperren, wenn du kein Training willst |
| Claude-SearchBot | Anthropic | Suche in Claude | Erlauben, sonst weniger Sichtbarkeit in Claude |
| PerplexityBot | Perplexity | Suche, laut Anbieter kein Training | Erlauben, sonst keine Perplexity-Suchtreffer |
| CCBot | Common Crawl | Offenes Webarchiv, für alle nutzbar | Sperren möglich |
| Applebot-Extended | Apple | Training von Apples Basismodellen | Sperren möglich, Applebot selbst bleibt erlaubt |
Beispiel-robots.txt: Training aus, Suche an
So sieht eine robots.txt aus, die das Training ausschließt und die Such-Bots in Ruhe lässt. Jeder Block steht in der Datei untereinander, mit einer Leerzeile dazwischen. Die Such-Bots wie OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot tauchen absichtlich nicht auf: Für sie gilt der letzte Block mit dem Sternchen.
Die Datei liegt immer im Stammverzeichnis, also unter deinedomain.de/robots.txt. Nach der Änderung lohnt ein Blick in den Browser, ob die Zeilen wirklich live sind. Laut OpenAI dauert es etwa 24 Stunden, bis eine Änderung bei den eigenen Bots ankommt, Perplexity nennt bis zu 24 Stunden.
| Zeilen in der robots.txt | Was sie bewirkt |
|---|---|
| User-agent: __usage_ai-training / Disallow: / | Gemeinsame Training-Präferenz für alle Anbieter, die sie unterstützen (Bing ab 1.2.2027, Google geplant) |
| User-agent: GPTBot / Disallow: / | Kein Training bei OpenAI |
| User-agent: Google-Extended / Disallow: / | Kein Gemini-Training, Google-Suche bleibt unberührt |
| User-agent: ClaudeBot / Disallow: / | Kein Training bei Anthropic |
| User-agent: CCBot / Disallow: / | Kein Eintrag ins offene Archiv von Common Crawl |
| User-agent: Applebot-Extended / Disallow: / | Kein Training von Apples Basismodellen |
| User-agent: * / Allow: / | Alle anderen Bots, auch die Such-Bots der KI-Anbieter, dürfen weiter rein |
Die häufigsten Fehler
Fehler eins: „User-agent: *“ mit „Disallow: /“, weil man „die KI“ draußen haben will. Damit sperrst du auch Googlebot und Bingbot aus, und die klassische Suche gleich mit. Fehler zwei: OAI-SearchBot oder PerplexityBot sperren, weil sie nach KI klingen. Dann tauchst du in ChatGPT-Suche und Perplexity nicht mehr als Quelle auf. Schau dabei auch in Sicherheits-Plugins und Firewall-Regeln: Die blocken Bots manchmal pauschal, ohne dass es in der robots.txt steht.
Fehler drei: Sich auf die robots.txt als Schutz verlassen. Sie ist eine Bitte, kein Schloss. Seriöse Anbieter halten sich daran, Common Crawl warnt aber selbst vor Crawlern, die sich fälschlich als CCBot ausgeben. Wer wirklich etwas schützen muss, braucht Login oder Firewall.
Ob die robots.txt rechtlich als Nutzungsvorbehalt reicht, ist eine juristische Frage. Ich bin SEO, kein Anwalt, das hier ist keine Rechtsberatung.
Was du jetzt tun solltest
Erstens entscheiden: Willst du Training ausschließen? Für Agenturen mit eigenen Fachtexten oft ja, für einen Handwerksbetrieb, der vor allem gefunden werden will, eher egal. Diese Seite hier lässt übrigens alle KI-Bots rein, weil sie zitiert werden will.
Zweitens die robots.txt anpassen: Block für __usage_ai-training rein, Hersteller-Kennungen für das Training dazu, Such-Bots erlauben. Drittens bei Bing: Wer NoArchive oder NoCache nutzt, stellt bis 1. März 2027 um. Viertens im Frühjahr 2027 nachschauen, ob Google die Kennung wirklich unterstützt, und ob weitere Anbieter nachziehen. In den Bot-Dokumentationen von OpenAI und Anthropic steht dazu Stand 15. November 2026 noch nichts.
Quellen und Stand 🔎
Alle Angaben zu Regeln, Preisen und Funktionen wurden am 15. November 2026 mit diesen Quellen abgeglichen. Zahlen zur Verzeichnisliste stammen aus der eigenen mentat.codes-Datenbank.
- IETF Datatracker: draft-kelley-aipref-training-preference-signal
- IETF Datatracker: draft-ietf-aipref-vocab (AI Preferences Vocabulary)
- Bing Search Blog: Your content, your choice (Oktober 2026)
- Bing Webmaster Tools: New AI Preferences
- Google: Übersicht der allgemeinen Crawler (Google-Extended)
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Common Crawl: CCBot
- Apple: About Applebot
Heute gelernt: 3 Schrauber-Erkenntnisse zum Mitnehmen 💡
Kein theoretisches Blabla: Drei handfeste Punkte, die du aus diesem Ratgeber fuer dein Projekt mitnimmst. Hak sie ab, sobald du sie verstanden hast.
Häufige Fragen 🙋
Was bedeutet __usage_ai-training in der robots.txt?
Das ist eine sogenannte Policy-Kennung aus einem Internet-Entwurf bei der IETF (draft-kelley-aipref-training-preference-signal). Ein Abschnitt mit „User-Agent: __usage_ai-training“ und „Disallow: /“ drückt aus, dass deine Inhalte nicht zum Training generativer KI-Modelle genutzt werden sollen. Der Entwurf ist kein Standard und hat laut IETF-Datatracker keinen offiziellen Status im Standardisierungsprozess.
Ab wann beachten Bing und Google die neue Kennung?
Microsoft wertet die neuen Präferenzen laut Bing-Blog ab 1. Februar 2027 aus, jeweils beim nächsten Crawl. Google schreibt in seiner Crawler-Dokumentation, die Kennung Anfang 2027 unterstützen zu wollen. Ein festes Datum hat Google dort nicht genannt.
Verschwinde ich aus ChatGPT oder Perplexity, wenn ich KI-Training verbiete?
Nicht, wenn du die richtigen Bots sperrst. GPTBot steht laut OpenAI für Training, OAI-SearchBot für die Suche in ChatGPT. PerplexityBot dient laut Perplexity der Suche und nicht dem Training. Sperrst du nur die Trainings-Kennungen, bleiben die Such-Bots erlaubt.
Schadet Google-Extended meinem Google-Ranking?
Laut Google nein. Google-Extended beeinflusst weder die Aufnahme in die Google-Suche noch ist es ein Rankingsignal. Es steuert das Training künftiger Gemini-Modelle und die Nutzung für Antworten in den Gemini-Apps und bei Vertex AI.
Muss ich wegen NoArchive oder NoCache etwas tun?
Wenn du bei Bing bisher NoArchive oder NoCache nutzt, ja. Laut Microsoft zählen beide nach dem 1. März 2027 nicht mehr als Training-Präferenz. Bis dahin solltest du die neue Präferenz in der robots.txt oder auf den Seiten setzen. Für die Nutzung in KI-Antworten gibt es ab 15. Dezember 2026 eine Übergangseinstellung in den Bing Webmaster Tools.
Weiterlesen und loslegen
- Sichtbar in KI-Antworten: Werbung und SEO →
- Skill: KI-Sichtbarkeit →
- Glossar: Trainingsdaten →
- Glossar: RAG →
- KI-Tool in Verzeichnisse eintragen: die komplette Anleitung →
- Bringen KI-Verzeichnisse etwas für SEO? Eine ehrliche Einordnung →
- Product Hunt Launch auf Deutsch: Vorbereitung, Ablauf, Fallstricke →
- Product-Hunt-Alternativen: 12 Launch-Plattformen für Gründer →
- Welcher Newsletter-Anbieter für Gründer? beehiiv, Kit, Brevo und GetResponse im Vergleich →
- KI-Tools und Datenschutz: die DSGVO-Checkliste für den Einsatz im Unternehmen →
- KI-Bildgeneratoren 2026: Midjourney, Leonardo AI, Canva und kostenlose Alternativen →
- KI-Video-Tools 2026: Runway, Synthesia, HeyGen, InVideo, Descript und Pictory im Überblick →
- KI-Tool launchen in 30 Tagen: der Plan von der ersten Einreichung bis zu echten Nutzern →
- ChatGPT, Claude oder Gemini: welcher Chatbot passt zu welcher Aufgabe? →
- KI-Agenten für Selbstständige 2026: Was in Deutschland wirklich geht →
- KI-Modelle in Automationen zukunftssicher betreiben: Fristen, Preise und Wechsel ohne Ausfall →
- Sichtbar in ChatGPT und im Google KI-Modus: Werbung und SEO in KI-Antworten 2026 →
- Open-Weight-Modelle 2026: Wann sich eigene KI für kleine Firmen lohnt →
- KI-Telefonassistent und Sprach-Agenten 2026: Was sie können, was sie kosten, was erlaubt ist →
- KI-Skills statt Copy-Paste-Prompts: Wiederkehrende Aufgaben einmal beibringen, überall nutzen →
- KI-Browser 2026: Comet, Chrome mit Gemini, Edge mit Copilot und Opera im Praxis-Check →
- Lokale KI 2026: Was auf deinem Laptop und im Browser schon geht, ganz ohne Cloud →
- Vibe Coding: Apps bauen mit Lovable, Bolt und v0 →
- KI-Musik und Rechte: was das GEMA-Urteil gegen Suno bedeutet →
- Lokale Modelle für Datenschutz: Ollama, GPT4All und Open WebUI im Vergleich für kleine Büros →
- Barrierefreiheit für kleine Websites seit 2025: was das BFSG verlangt und wie KI beim Alt-Text hilft →
- KI-Meeting-Notizen im Team: Fireflies, tl;dv, Otter und lokale Alternativen im Datenschutz-Check →
- KI-Bildgeneratoren kommerziell nutzen: was Midjourney, Leonardo, Ideogram, Flux und Canva in ihren Nutzungsbedingungen zu Rechten sagen →
- KI-Chatbot für die eigene Website: SiteGPT, SiteSpeakAI, Aidbase, Chatfuel und Tiledesk im Überblick für kleine Firmen →
- Bei KI-Antworten zitiert werden: Prüfplan, wie oft ChatGPT, Perplexity und der Google KI-Modus deine Marke nennen →
- KI-Kundenservice per E-Mail: Antwortvorlagen bauen, Mensch gibt frei, Datenschutz im Griff →
- Präsentationen mit KI erstellen: Gamma, Copilot in PowerPoint, Canva und Co. im Ablauf, mit Prüfliste und Grenzen →
- Produktfotos mit KI für den Onlineshop: Freisteller, Hintergründe, Kennzeichnung →
- KI im Recruiting kleiner Firmen: Stellenanzeigen schreiben, Vorauswahl vorsichtig, Pflichten kennen →
- Website und Shop mit KI übersetzen: Ablauf, Qualität, mehrsprachiges SEO →
- Google-Unternehmensprofil mit KI pflegen: Beiträge, Bewertungen, Fragen →
- KI im Verein und Ehrenamt: Protokolle, Mitgliederkommunikation, Datenschutz →
- Belege und Rechnungen mit KI vorsortieren: Ablauf, Grenzen, Aufbewahrung →
- Recherche mit KI-Suchmaschinen: Quellen prüfen, Zitate absichern →
- Produktbeschreibungen mit KI in Serie: Datenbasis, Qualität, Duplicate Content →
- Einfache Sprache und Leichte Sprache mit KI: Unterschied, Ablauf, Prüfung →
- KI-Videos auf Social Media kennzeichnen: Regeln von YouTube, Instagram und TikTok →
- Interviews mit KI transkribieren: Genauigkeit, Datenschutz und Nacharbeit für Journalismus, Forschung und Podcasts →
- Der erste KI-Workflow: Schritt für Schritt mit Zapier, Make oder n8n →
- Förderanträge mit KI vorbereiten: Ausschreibung lesen, Gliederung, Eigenleistung →
- Prompt Injection im Alltag: Wenn KI-Agenten fremde Inhalte lesen →
- KI-Abos im Griff: Tarife vergleichen, kündigen, Kosten im Blick behalten →
- KI-Bilder für Social Media in Serie: Formate, Markenstil, Kennzeichnung →
- KI-Crawler in der robots.txt steuern: sichtbar in KI-Suchen bleiben, Training ausschließen →
- Kundenanfragen per E-Mail mit KI beantworten: sortieren, Textbausteine, Freigabe und ehrlicher Hinweis an Kunden →
- KI-Übersicht bei Markensuchen: 0 von 40 DAX-Marken in unserer google.de-Stichprobe am 15.11.2026 →
- Gestohlene KI-API-Schlüssel: Was 2026 passiert ist und wie du dich schützt →
- 30 „kostenlose“ KI-Verzeichnisse an einem Tag getestet: 4 haben funktioniert →
- KI-Comic mit konsistenten Figuren: Charakterbibel statt Prompt-Lotterie →
- Comic-Drehbuch mit KI: 10 Seiten planen, 50 Panels sauber schreiben →
- Gamma für einen KI-Comic: Was funktioniert und wo 200 Seiten scheitern →
- Ein KI-Projekt in LinkedIn und Substack verwandeln, ohne Copy-Paste-Spam →
- GitHub-first Publishing für KI-Content: Merge, Review und echte Veröffentlichung trennen →
- ChatGPT-Verlauf löschen, archivieren oder ausschalten: Schritt für Schritt →
- Claude Memory: was Claude sich merkt und wie du es steuerst →
- ChatGPT-Projekte vs. Claude-Projekte: wo deine Arbeit besser aufgehoben ist →
- Chats exportieren und umziehen: ChatGPT, Claude und Gemini im Überblick →
- ChatGPT Memory erklärt: was das Gedächtnis speichert und wie du es steuerst →
- ChatGPT für die Bewerbung: vom Lebenslauf bis zur Gehaltsfrage →
- Mit ChatGPT übersetzen: Glossar, Tonfall, Lokalisierung →
- Prompt-Vorlagen: so findest und nutzt du die passende →
- ChatGPT und Excel: Formeln bauen, Tabellen auswerten, Daten bereinigen →
- ChatGPT Agent erklärt: vom Agentenmodus zu ChatGPT Work →
- SEO-Prompts für ChatGPT: was die KI übernimmt und was dein SEO-Tool →
- GPTs erstellen: was nach dem Aus der Custom GPTs noch geht →
- Prompt Engineering: der Leitfaden auf Deutsch →
- Was wurde aus Mentat? Die Geschichte hinter dieser Domain →
- Welche KI programmiert im Terminal am besten? Neun Coding-Agenten im Vergleich →
- Claude Code auf Deutsch: die Anleitung für deinen ersten Arbeitstag mit dem Agenten →
- Claude Code installieren: Windows ohne WSL, macOS, Linux und die 6 häufigsten Fehler →
- Was kostet Claude Code? Pro, Max, Ultra und API im Vergleich, mit Rechenbeispiel →
- Codex CLI auf Deutsch: installieren, anmelden und sicher loslegen →
- Claude Code oder Codex: welcher Coding-Agent passt zu dir? →
- AGENTS.md und CLAUDE.md: so richtest du beide richtig ein →
- Gemini CLI eingestellt? So steigst du auf die Antigravity CLI um →
- Aider mit Ollama: lokal programmieren, ohne dass Code das Haus verlässt →
- Cursor-Alternative kostenlos: Editoren, Open Source und Terminal-Agenten →
- Claude Code vom Handy steuern, auch per Sprache →
- Mehrere KI-Agenten parallel laufen lassen, ohne Chaos →
- GitHub-Konto gesperrt, während KI-Agenten arbeiten: Ursachen, Einspruch, Schutz →
- Website ohne GitHub veröffentlichen: direkt zu Cloudflare →
- E-Rechnung 2027: Wer ab 1. Januar muss und wo KI wirklich hilft →
- KI-Kennzeichnungspflicht: Wer ab 2. Dezember was kennzeichnen muss →
- AI Act Fristen 2026 bis 2028: alle Termine nach dem Digital Omnibus →
- Neues Produkthaftungsgesetz ab 9. Dezember 2026: Software und KI haften wie Produkte →
- Cyber Resilience Act: Was Software- und App-Anbieter bis Dezember 2027 tun müssen →
- d-you: Die digitale Brieftasche (EUDI-Wallet) startet am 2. Januar 2027 →
- KI-Checkliste 2027: Alle Fristen für Selbstständige und Mittelstand auf einen Blick →
- KI im Recruiting und im Personalbereich: Was ab 2. Dezember 2027 als Hochrisiko gilt →
- Cloud oder SaaS wechseln ohne Wechselgebühr: Was der Data Act ab 12. Januar 2027 ändert →
- NIS-2-Schulung für Geschäftsführer: Was § 38 BSIG verlangt und was im BSI-Curriculum steht →
- Siri AI in Deutschland: Wann sie kommt und was du jetzt schon nutzen kannst →
- Adventskalender mit KI selber machen: 24 persönliche Türchen in 20 Minuten →
- Weihnachtskarten mit KI: eigenes Motiv, persönlicher Text, fertig zum Drucken →
- Eigenes Weihnachtslied mit KI: Song mit Suno, Musikvideo mit Kaiber →
- Video vom Weihnachtsmann mit KI: persönliche Botschaft für dein Kind →
- Geschenkideen mit KI: So findet ChatGPT das passende Weihnachtsgeschenk →
- Weihnachtsgrüße an Kunden mit KI: persönlich statt Floskel →
- Weihnachtsmenü mit KI planen: Menü, Einkaufsliste und Zeitplan ohne Stress →
- Weihnachtsgedicht und Rede zur Weihnachtsfeier mit KI: persönlich und kurz →
- Jahresrückblick 2026 mit KI: Jahresbrief, Fotovideo und LinkedIn-Post →
- Neujahrsvorsätze mit KI: So wird ChatGPT zum Coach, der dranbleibt →
- Steuererklärung 2026 mit KI: Belege sortieren, Anlagen verstehen, Fehler vermeiden →
- Valentinstag und Karneval 2027 mit KI: Liebesbrief, Kostümideen und Büttenrede →
- KI bei Facharbeit, Präsentationsprüfung und Abitur: was erlaubt ist und wie du sie angibst →
- Bewerbung um einen Ausbildungsplatz mit KI: Anschreiben, Lebenslauf, Einstellungstest und Gespräch →
- Launch-Kit öffnen →
- Zu allen KI-Verzeichnissen →