KI-Glossar · KI-Begriff 122 von 218
Was ist der Googlebot?
Sammelname für die beiden Webcrawler der Google-Suche: Googlebot Smartphone, der einen Besuch mit dem Mobilgerät nachahmt, und Googlebot Desktop. Weil Google bei den meisten Websites vor allem die mobile Fassung indexiert, kommt der Großteil der Abrufe vom Smartphone-Crawler. In der robots.txt sprichst du beide mit demselben Namen an, getrennt steuern lassen sie sich dort nicht.
Hans erklärt's mit Schrauberhänden 🔧
Der Googlebot ist der Außendienstler, der regelmäßig durch deinen Laden geht und notiert, was in den Regalen steht. Was er nicht zu sehen bekommt, kann er später keinem Kunden empfehlen.
Merksatz: Nicht crawlen heißt nicht unsichtbar.
Beispiel aus der Praxis
In deiner robots.txt steht unter User-agent: Googlebot die Zeile Disallow: /intern/. Der Crawler ruft diese Seiten dann nicht mehr ab. Verlinkt eine andere Website auf eine davon, kann die Adresse laut Google trotzdem in den Suchergebnissen auftauchen. Soll sie dort gar nicht erscheinen, gib sie zum Crawlen frei und setz noindex.
Darauf kommt es an
Viele Bots geben sich als Googlebot aus. Bevor du verdächtige Zugriffe sperrst, prüf laut Google per Reverse-DNS-Abfrage oder anhand der veröffentlichten IP-Bereiche, ob die Anfrage wirklich von Google kommt. Sperrst du den Googlebot aus, trifft das die ganze Google-Suche einschließlich Discover und dazu Google Bilder, Google Video und Google News. Kommt dein Server nicht hinterher, kannst du die Crawling-Frequenz senken.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- robots.txtTextdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
- KI-CrawlerAutomatisches Programm eines KI-Anbieters, das Webseiten abruft, um Inhalte für Training, Suchindex oder Antworten auf Nutzerfragen zu sammeln. Über die robots.txt kannst du je Crawler festlegen, was er lesen darf.
- Crawl-BudgetDie Menge an URLs einer Website, die Google crawlen kann und will. Sie ergibt sich aus der Crawling-Kapazität, also wie viel der Server verträgt, und dem Crawling-Bedarf. Wichtig ist das laut Google vor allem für Websites ab etwa einer Million Seiten oder ab 10.000 Seiten, die sich täglich ändern.
- NoindexRegel, mit der du Suchmaschinen sagst, dass eine Seite nicht in den Index soll. Sie steht als Meta-Tag im Head der Seite, etwa <meta name="robots" content="noindex">, oder als HTTP-Header X-Robots-Tag, der auch für PDFs und Bilder funktioniert. Liest Google die Regel beim Crawlen, nimmt Google die Seite ganz aus den Suchergebnissen, auch wenn andere Seiten auf sie verlinken.
- IndexierungZweite Stufe der Google-Suche nach dem Crawlen: Google analysiert Text, Bilder und Videos einer Seite, erkennt Duplikate, wählt die kanonische Fassung und speichert die Informationen im Google-Index. Laut Google wird nicht jede verarbeitete Seite indexiert. Auch für KI-Übersichten muss eine Seite indexiert sein.
Kurz gefragt
Was ist der Googlebot?
Sammelname für die beiden Webcrawler der Google-Suche: Googlebot Smartphone, der einen Besuch mit dem Mobilgerät nachahmt, und Googlebot Desktop. Weil Google bei den meisten Websites vor allem die mobile Fassung indexiert, kommt der Großteil der Abrufe vom Smartphone-Crawler. In der robots.txt sprichst du beide mit demselben Namen an, getrennt steuern lassen sie sich dort nicht.
Worauf sollte ich bei Googlebot achten?
Viele Bots geben sich als Googlebot aus. Bevor du verdächtige Zugriffe sperrst, prüf laut Google per Reverse-DNS-Abfrage oder anhand der veröffentlichten IP-Bereiche, ob die Anfrage wirklich von Google kommt. Sperrst du den Googlebot aus, trifft das die ganze Google-Suche einschließlich Discover und dazu Google Bilder, Google Video und Google News. Kommt dein Server nicht hinterher, kannst du die Crawling-Frequenz senken.
Weiter geht's 🧭
Thematisch am nächsten dran, ausgewählt per Textvergleich.
Passt dazu 5
Wer hierher verlinkt 18
Beliebt im Viertel: 18 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist Noindex? Einfach erklärt mit Beispiel
- GlossarWas ist Mobile-First-Indexierung? Einfach erklärt
- GlossarWas ist Soft 404? Einfach erklärt mit Beispiel
- GlossarWas ist Google-Extended? Einfach erklärt mit Beispiel
- GlossarWas ist Paginierung? Einfach erklärt mit Beispiel
- GlossarWas ist URL-Prüfung? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?