KI-Glossar · KI-Begriff 89 von 218
Was ist ein KI-Crawler?
Automatisches Programm eines KI-Anbieters, das Webseiten abruft, um Inhalte für Training, Suchindex oder Antworten auf Nutzerfragen zu sammeln. Über die robots.txt kannst du je Crawler festlegen, was er lesen darf.
Hans erklärt's mit Schrauberhänden 🔧
Ein KI-Crawler ist wie ein Lieferant mit Klemmbrett, der durch deine Räume geht und notiert, was dort liegt. Manche schreiben für ein Lager (Training), andere für den Katalog (Suche), und ein Namensschild trägt jeder.
Merksatz: Erst Namen lernen, dann Türen regeln.
Beispiel aus der Praxis
Du willst, dass dein Shop in KI-Antworten auftaucht, aber nicht fürs Training genutzt wird. Dafür schaust du in der Doku des Anbieters nach, wie seine Crawler heißen, und regelst sie einzeln in der robots.txt.
Darauf kommt es an
Schau einmal in die Logdateien deines Servers, welche Bots wirklich kommen. Die Kennung im User-Agent sagt dir, wer anklopft; welcher Bot fürs Training und welcher für die Suche da ist, steht in der Doku des jeweiligen Anbieters.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- robots.txtTextdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
- TrainingsdatenDie Texte, Bilder oder anderen Daten, aus denen ein Modell gelernt hat.
- GroundingAntworten an überprüfbare Quellen binden, etwa an Suchergebnisse oder eigene Dokumente. Senkt Halluzinationen.
Kurz gefragt
Was ist ein KI-Crawler?
Automatisches Programm eines KI-Anbieters, das Webseiten abruft, um Inhalte für Training, Suchindex oder Antworten auf Nutzerfragen zu sammeln. Über die robots.txt kannst du je Crawler festlegen, was er lesen darf.
Worauf sollte ich bei KI-Crawler achten?
Schau einmal in die Logdateien deines Servers, welche Bots wirklich kommen. Die Kennung im User-Agent sagt dir, wer anklopft; welcher Bot fürs Training und welcher für die Suche da ist, steht in der Doku des jeweiligen Anbieters.
Weiter geht's 🧭
Nachbarseiten mit dem meisten gemeinsamen Thema. Kein Zufall, reine Statistik.
Passt dazu 5
Wer hierher verlinkt 13
Beliebt im Viertel: 13 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist eine robots.txt? Einfach erklärt mit Beispiel
- GlossarWas ist Google-Extended? Einfach erklärt mit Beispiel
- GlossarWas ist eine llms.txt? Einfach erklärt mit Beispiel
- GlossarWas ist eine XML-Sitemap? Einfach erklärt mit Beispiel
- GlossarWas ist OAI-SearchBot? Einfach erklärt mit Beispiel
- GlossarWas ist PerplexityBot? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?