KI-Glossar · KI-Begriff 122 von 218

Was ist der Googlebot?

Sammelname für die beiden Webcrawler der Google-Suche: Googlebot Smartphone, der einen Besuch mit dem Mobilgerät nachahmt, und Googlebot Desktop. Weil Google bei den meisten Websites vor allem die mobile Fassung indexiert, kommt der Großteil der Abrufe vom Smartphone-Crawler. In der robots.txt sprichst du beide mit demselben Namen an, getrennt steuern lassen sie sich dort nicht.

Hans erklärt's mit Schrauberhänden 🔧

Der Googlebot ist der Außendienstler, der regelmäßig durch deinen Laden geht und notiert, was in den Regalen steht. Was er nicht zu sehen bekommt, kann er später keinem Kunden empfehlen.

Merksatz: Nicht crawlen heißt nicht unsichtbar.

Beispiel aus der Praxis

In deiner robots.txt steht unter User-agent: Googlebot die Zeile Disallow: /intern/. Der Crawler ruft diese Seiten dann nicht mehr ab. Verlinkt eine andere Website auf eine davon, kann die Adresse laut Google trotzdem in den Suchergebnissen auftauchen. Soll sie dort gar nicht erscheinen, gib sie zum Crawlen frei und setz noindex.

Darauf kommt es an

Viele Bots geben sich als Googlebot aus. Bevor du verdächtige Zugriffe sperrst, prüf laut Google per Reverse-DNS-Abfrage oder anhand der veröffentlichten IP-Bereiche, ob die Anfrage wirklich von Google kommt. Sperrst du den Googlebot aus, trifft das die ganze Google-Suche einschließlich Discover und dazu Google Bilder, Google Video und Google News. Kommt dein Server nicht hinterher, kannst du die Crawling-Frequenz senken.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist der Googlebot?

Sammelname für die beiden Webcrawler der Google-Suche: Googlebot Smartphone, der einen Besuch mit dem Mobilgerät nachahmt, und Googlebot Desktop. Weil Google bei den meisten Websites vor allem die mobile Fassung indexiert, kommt der Großteil der Abrufe vom Smartphone-Crawler. In der robots.txt sprichst du beide mit demselben Namen an, getrennt steuern lassen sie sich dort nicht.

Worauf sollte ich bei Googlebot achten?

Viele Bots geben sich als Googlebot aus. Bevor du verdächtige Zugriffe sperrst, prüf laut Google per Reverse-DNS-Abfrage oder anhand der veröffentlichten IP-Bereiche, ob die Anfrage wirklich von Google kommt. Sperrst du den Googlebot aus, trifft das die ganze Google-Suche einschließlich Discover und dazu Google Bilder, Google Video und Google News. Kommt dein Server nicht hinterher, kannst du die Crawling-Frequenz senken.

Weiter geht's 🧭

Thematisch am nächsten dran, ausgewählt per Textvergleich.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?