KI-Glossar · KI-Begriff 88 von 218

Was ist eine robots.txt?

Textdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.

Hans erklärt's mit Schrauberhänden 🔧

Die robots.txt ist das Schild am Hoftor: „Lieferanten bitte hier entlang, Werkstatt nur für Mitarbeiter.“ Wer sich an Regeln hält, liest es und beachtet es. Ein abgeschlossenes Tor ist das Schild aber nicht.

Merksatz: robots.txt bittet, sie schützt nicht.

Beispiel aus der Praxis

Du lässt in der robots.txt den Ordner mit internen Entwürfen sperren und gibst den Rest der Seite frei. Ein sauber arbeitender Crawler hält sich daran, geschützt sind die Entwürfe damit trotzdem nicht.

Darauf kommt es an

Bevor du KI-Crawler aussperrst, trenn zwei Fragen: Darf ein Anbieter deine Texte zum Training nutzen, und darf seine Suche dich zitieren? Für beides gibt es oft getrennte Kennungen. Wer pauschal alles sperrt, verschwindet im Zweifel auch aus KI-Antworten.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist eine robots.txt?

Textdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.

Worauf sollte ich bei robots.txt achten?

Bevor du KI-Crawler aussperrst, trenn zwei Fragen: Darf ein Anbieter deine Texte zum Training nutzen, und darf seine Suche dich zitieren? Für beides gibt es oft getrennte Kennungen. Wer pauschal alles sperrt, verschwindet im Zweifel auch aus KI-Antworten.

Weiter geht's 🧭

Thematisch am nächsten dran, ausgewählt per Textvergleich.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?