7 Minuten Lesezeit · geprüft am 15.11.2026

KI-Training per robots.txt ausschließen: So bleibst du trotzdem in KI-Antworten sichtbar

Mit der neuen Kennung __usage_ai-training sagst du in der robots.txt, dass deine Inhalte nicht ins KI-Training sollen. Bing wertet sie ab 1. Februar 2027 aus, Google plant das für Anfang 2027. Welche Crawler trainieren, welche nur suchen und zitieren, eine fertige Beispiel-robots.txt und der häufigste Fehler. Stand November 2026, keine Rechtsberatung.

Hans sagt: Wer alle KI-Bots aussperrt, schützt seine Texte vor dem Training und schießt sich gleich mit aus den KI-Antworten. Trenn Training und Suche, dann hast du beides im Griff.

Training oder Suche: der Unterschied, der alles entscheidet

KI-Anbieter holen sich deine Seiten aus zwei Gründen. Erstens fürs Training: Deine Texte fließen in die Gewichte eines Modells ein und tauchen danach ohne Link und ohne Quelle als „Wissen“ auf. Zweitens für Suche und Zitat: Ein Assistent ruft deine Seite ab, wenn jemand fragt, und nennt dich als Quelle. Das Erste ist eine Spende, das Zweite ist Sichtbarkeit.

Für Selbstständige und Agenturen ist das der Kern: Training abschalten kann sinnvoll sein, Suche abschalten fast nie. Wer pauschal alle KI-Bots aussperrt, ist wie ein Werkstattbesitzer, der das Rolltor zumacht, damit keiner seine Tricks abschaut, und sich dann wundert, dass keine Kunden mehr reinkommen.

Was __usage_ai-training ist und was nicht

Seit Ende Oktober 2026 liegt bei der IETF der Entwurf draft-kelley-aipref-training-preference-signal. Er führt eine neue Kennung ein, die in der robots.txt wie ein Bot-Name aussieht: __usage_ai-training. Steht darunter „Disallow: /“, sagst du allen Anbietern, die die Kennung unterstützen, dass deine Inhalte nicht für das Training generativer KI-Modelle genutzt werden sollen. Mit „Allow“ für einzelne Pfade kannst du Ausnahmen machen, etwa für ein Pressefach.

Wichtig sind drei Details aus dem Entwurf: Ein Abschnitt für „User-Agent: *“ gilt nicht für diese Kennung, du musst sie also ausdrücklich nennen. Die Kennung regelt die Nutzung, nicht das Crawlen. Und wer gar nichts einträgt, hat laut Entwurf keine Präferenz geäußert.

Der Status ist ehrlich gesagt dünn: Es ist ein Einzelentwurf, kein IETF-Standard, er läuft am 3. Mai 2027 aus, wenn er nicht erneuert wird. Er stützt sich auf das Vokabular der IETF-Arbeitsgruppe AI Preferences, die ihre eigenen Entwürfe ebenfalls noch nicht abgeschlossen hat. Trotzdem lohnt es sich, die Zeile jetzt einzutragen, weil Bing und Google sie unterstützen wollen.

Die Termine bei Bing und Google

Microsoft hat Ende Oktober 2026 im Bing-Blog angekündigt, die gemeinsame Training-Präferenz zu unterstützen. Ab 1. Februar 2027 wertet Microsoft die neuen Präferenzen beim Crawlen aus. Bis 1. März 2027 solltest du deine Training-Präferenz in der robots.txt oder auf einzelnen Seiten veröffentlicht haben: Danach zählen NoArchive und NoCache laut Microsoft nicht mehr als Präferenz fürs Training. Für die Bing-Suche bleibst du laut Microsoft trotzdem zugelassen.

Für die Nutzung in KI-Antworten führt Microsoft eine eigene Präferenz namens AI Grounding ein. Die gibt es nur auf Seitenebene per Meta-Tag oder X-Robots-Tag, nicht in der robots.txt. Wer bisher NoArchive oder NoCache nutzt, kann ab 15. Dezember 2026 in den Bing Webmaster Tools eine vorübergehende Grounding-Einstellung hinterlegen.

Google schreibt in seiner Crawler-Dokumentation, die Kennung __usage_ai-training Anfang 2027 unterstützen zu wollen. Das ist ein Plan, kein Termin. Bis Google liefert, bleibt Google-Extended der Hebel für das Gemini-Training.

Welche KI-Crawler trainieren und welche zitieren

Bis alle Anbieter die gemeinsame Kennung lesen, brauchst du weiter die Namen der einzelnen Bots. Die Tabelle zeigt, was die Hersteller selbst über ihre Bots schreiben. Alles in der Spalte „Training“ kannst du sperren, ohne aus der KI-Suche zu fliegen.

Zwei Haken: Google-Extended steuert laut Google neben dem Training auch, ob Gemini-Apps deine Inhalte für Antworten nutzen. Die Google-Suche und ihre Funktionen bleiben davon unberührt. Und bei Apple kann Applebot laut Apple weiter Kontext für KI-Antworten liefern, auch wenn du Applebot-Extended sperrst. Dagegen hilft laut Apple das Meta-Tag nosnippet.

KI-Crawler laut Herstellerangaben, Stand 15.11.2026
KennungAnbieterZweckSperren?
GPTBotOpenAITrainingSperren, wenn du kein Training willst
OAI-SearchBotOpenAISuche in ChatGPTErlauben, sonst keine ChatGPT-Suchtreffer
Google-ExtendedGoogleGemini-Training und Gemini-AppsSperren möglich, kein Einfluss auf die Google-Suche
ClaudeBotAnthropicTrainingSperren, wenn du kein Training willst
Claude-SearchBotAnthropicSuche in ClaudeErlauben, sonst weniger Sichtbarkeit in Claude
PerplexityBotPerplexitySuche, laut Anbieter kein TrainingErlauben, sonst keine Perplexity-Suchtreffer
CCBotCommon CrawlOffenes Webarchiv, für alle nutzbarSperren möglich
Applebot-ExtendedAppleTraining von Apples BasismodellenSperren möglich, Applebot selbst bleibt erlaubt

Beispiel-robots.txt: Training aus, Suche an

So sieht eine robots.txt aus, die das Training ausschließt und die Such-Bots in Ruhe lässt. Jeder Block steht in der Datei untereinander, mit einer Leerzeile dazwischen. Die Such-Bots wie OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot tauchen absichtlich nicht auf: Für sie gilt der letzte Block mit dem Sternchen.

Die Datei liegt immer im Stammverzeichnis, also unter deinedomain.de/robots.txt. Nach der Änderung lohnt ein Blick in den Browser, ob die Zeilen wirklich live sind. Laut OpenAI dauert es etwa 24 Stunden, bis eine Änderung bei den eigenen Bots ankommt, Perplexity nennt bis zu 24 Stunden.

Beispiel-robots.txt, Block für Block
Zeilen in der robots.txtWas sie bewirkt
User-agent: __usage_ai-training / Disallow: /Gemeinsame Training-Präferenz für alle Anbieter, die sie unterstützen (Bing ab 1.2.2027, Google geplant)
User-agent: GPTBot / Disallow: /Kein Training bei OpenAI
User-agent: Google-Extended / Disallow: /Kein Gemini-Training, Google-Suche bleibt unberührt
User-agent: ClaudeBot / Disallow: /Kein Training bei Anthropic
User-agent: CCBot / Disallow: /Kein Eintrag ins offene Archiv von Common Crawl
User-agent: Applebot-Extended / Disallow: /Kein Training von Apples Basismodellen
User-agent: * / Allow: /Alle anderen Bots, auch die Such-Bots der KI-Anbieter, dürfen weiter rein

Die häufigsten Fehler

Fehler eins: „User-agent: *“ mit „Disallow: /“, weil man „die KI“ draußen haben will. Damit sperrst du auch Googlebot und Bingbot aus, und die klassische Suche gleich mit. Fehler zwei: OAI-SearchBot oder PerplexityBot sperren, weil sie nach KI klingen. Dann tauchst du in ChatGPT-Suche und Perplexity nicht mehr als Quelle auf. Schau dabei auch in Sicherheits-Plugins und Firewall-Regeln: Die blocken Bots manchmal pauschal, ohne dass es in der robots.txt steht.

Fehler drei: Sich auf die robots.txt als Schutz verlassen. Sie ist eine Bitte, kein Schloss. Seriöse Anbieter halten sich daran, Common Crawl warnt aber selbst vor Crawlern, die sich fälschlich als CCBot ausgeben. Wer wirklich etwas schützen muss, braucht Login oder Firewall.

Ob die robots.txt rechtlich als Nutzungsvorbehalt reicht, ist eine juristische Frage. Ich bin SEO, kein Anwalt, das hier ist keine Rechtsberatung.

Was du jetzt tun solltest

Erstens entscheiden: Willst du Training ausschließen? Für Agenturen mit eigenen Fachtexten oft ja, für einen Handwerksbetrieb, der vor allem gefunden werden will, eher egal. Diese Seite hier lässt übrigens alle KI-Bots rein, weil sie zitiert werden will.

Zweitens die robots.txt anpassen: Block für __usage_ai-training rein, Hersteller-Kennungen für das Training dazu, Such-Bots erlauben. Drittens bei Bing: Wer NoArchive oder NoCache nutzt, stellt bis 1. März 2027 um. Viertens im Frühjahr 2027 nachschauen, ob Google die Kennung wirklich unterstützt, und ob weitere Anbieter nachziehen. In den Bot-Dokumentationen von OpenAI und Anthropic steht dazu Stand 15. November 2026 noch nichts.

Quellen und Stand 🔎

Alle Angaben zu Regeln, Preisen und Funktionen wurden am 15. November 2026 mit diesen Quellen abgeglichen. Zahlen zur Verzeichnisliste stammen aus der eigenen mentat.codes-Datenbank.

Fuer deine Werkbank

Heute gelernt: 3 Schrauber-Erkenntnisse zum Mitnehmen 💡

Kein theoretisches Blabla: Drei handfeste Punkte, die du aus diesem Ratgeber fuer dein Projekt mitnimmst. Hak sie ab, sobald du sie verstanden hast.

Fortschritt: 0 von 3 Erkenntnissen verinnerlicht (0%)
Die 3 wichtigsten Erkenntnisse zum Abhaken

Training und Suche getrennt behandeln

Sperre die Trainings-Kennungen wie GPTBot, ClaudeBot oder Google-Extended und lass OAI-SearchBot, Claude-SearchBot und PerplexityBot rein. So bleibst du in KI-Antworten sichtbar.

Die Kennung __usage_ai-training ausdruecklich nennen

Ein Abschnitt fuer User-Agent: * gilt nicht fuer diese Kennung. Bing wertet sie ab 1. Februar 2027 aus, Google will sie Anfang 2027 unterstuetzen. Der Entwurf ist noch kein Standard.

Nie alle Bots pauschal aussperren

User-agent: * mit Disallow: / sperrt auch Googlebot und Bingbot. Pruefe zusaetzlich Sicherheits-Plugins und Firewall-Regeln, und denk daran: Die robots.txt ist eine Bitte, kein Schloss.

Häufige Fragen 🙋

Was bedeutet __usage_ai-training in der robots.txt?

Das ist eine sogenannte Policy-Kennung aus einem Internet-Entwurf bei der IETF (draft-kelley-aipref-training-preference-signal). Ein Abschnitt mit „User-Agent: __usage_ai-training“ und „Disallow: /“ drückt aus, dass deine Inhalte nicht zum Training generativer KI-Modelle genutzt werden sollen. Der Entwurf ist kein Standard und hat laut IETF-Datatracker keinen offiziellen Status im Standardisierungsprozess.

Ab wann beachten Bing und Google die neue Kennung?

Microsoft wertet die neuen Präferenzen laut Bing-Blog ab 1. Februar 2027 aus, jeweils beim nächsten Crawl. Google schreibt in seiner Crawler-Dokumentation, die Kennung Anfang 2027 unterstützen zu wollen. Ein festes Datum hat Google dort nicht genannt.

Verschwinde ich aus ChatGPT oder Perplexity, wenn ich KI-Training verbiete?

Nicht, wenn du die richtigen Bots sperrst. GPTBot steht laut OpenAI für Training, OAI-SearchBot für die Suche in ChatGPT. PerplexityBot dient laut Perplexity der Suche und nicht dem Training. Sperrst du nur die Trainings-Kennungen, bleiben die Such-Bots erlaubt.

Schadet Google-Extended meinem Google-Ranking?

Laut Google nein. Google-Extended beeinflusst weder die Aufnahme in die Google-Suche noch ist es ein Rankingsignal. Es steuert das Training künftiger Gemini-Modelle und die Nutzung für Antworten in den Gemini-Apps und bei Vertex AI.

Muss ich wegen NoArchive oder NoCache etwas tun?

Wenn du bei Bing bisher NoArchive oder NoCache nutzt, ja. Laut Microsoft zählen beide nach dem 1. März 2027 nicht mehr als Training-Präferenz. Bis dahin solltest du die neue Präferenz in der robots.txt oder auf den Seiten setzen. Für die Nutzung in KI-Antworten gibt es ab 15. Dezember 2026 eine Übergangseinstellung in den Bing Webmaster Tools.

Weiterlesen und loslegen

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?