KI-Glossar · KI-Begriff 88 von 218
Was ist eine robots.txt?
Textdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
Hans erklärt's mit Schrauberhänden 🔧
Die robots.txt ist das Schild am Hoftor: „Lieferanten bitte hier entlang, Werkstatt nur für Mitarbeiter.“ Wer sich an Regeln hält, liest es und beachtet es. Ein abgeschlossenes Tor ist das Schild aber nicht.
Merksatz: robots.txt bittet, sie schützt nicht.
Beispiel aus der Praxis
Du lässt in der robots.txt den Ordner mit internen Entwürfen sperren und gibst den Rest der Seite frei. Ein sauber arbeitender Crawler hält sich daran, geschützt sind die Entwürfe damit trotzdem nicht.
Darauf kommt es an
Bevor du KI-Crawler aussperrst, trenn zwei Fragen: Darf ein Anbieter deine Texte zum Training nutzen, und darf seine Suche dich zitieren? Für beides gibt es oft getrennte Kennungen. Wer pauschal alles sperrt, verschwindet im Zweifel auch aus KI-Antworten.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- KI-CrawlerAutomatisches Programm eines KI-Anbieters, das Webseiten abruft, um Inhalte für Training, Suchindex oder Antworten auf Nutzerfragen zu sammeln. Über die robots.txt kannst du je Crawler festlegen, was er lesen darf.
- TrainingsdatenDie Texte, Bilder oder anderen Daten, aus denen ein Modell gelernt hat.
- KI-Übersicht (AI Overviews)Von einem Sprachmodell erzeugte Zusammenfassung, die eine Suchmaschine oberhalb der klassischen Trefferliste zeigt und mit Quellenlinks belegt. Wer dort als Quelle erscheint, wird gesehen, auch wenn nicht jeder weiterklickt.
Kurz gefragt
Was ist eine robots.txt?
Textdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
Worauf sollte ich bei robots.txt achten?
Bevor du KI-Crawler aussperrst, trenn zwei Fragen: Darf ein Anbieter deine Texte zum Training nutzen, und darf seine Suche dich zitieren? Für beides gibt es oft getrennte Kennungen. Wer pauschal alles sperrt, verschwindet im Zweifel auch aus KI-Antworten.
Weiter geht's 🧭
Thematisch am nächsten dran, ausgewählt per Textvergleich.
Passt dazu 6
- GlossarWas ist OAI-SearchBot? Einfach erklärt mit Beispiel
- GlossarWas ist eine llms.txt? Einfach erklärt mit Beispiel
- RatgeberKI-Crawler in der robots.txt steuern und prüfen
- RatgeberPrüfplan: Nennen ChatGPT, Perplexity und Google deine Marke?
- SkillKI-Sichtbarkeit (GEO): Skill für ChatGPT, Claude, Gemini
- SeiteSEO und GEO Guide: in Google und KI-Antworten
Wer hierher verlinkt 22
Herzstück: 22 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist ein KI-Crawler? Einfach erklärt mit Beispiel
- GlossarWas ist OAI-SearchBot? Einfach erklärt mit Beispiel
- GlossarWas ist eine llms.txt? Einfach erklärt mit Beispiel
- GlossarWas ist GEO? Einfach erklärt mit Beispiel
- GlossarWas ist eine XML-Sitemap? Einfach erklärt mit Beispiel
- GlossarWas ist PerplexityBot? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?