KI-Glossar · KI-Begriff 102 von 218

Was ist das Crawl-Budget?

Die Menge an URLs einer Website, die Google crawlen kann und will. Sie ergibt sich aus der Crawling-Kapazität, also wie viel der Server verträgt, und dem Crawling-Bedarf. Wichtig ist das laut Google vor allem für Websites ab etwa einer Million Seiten oder ab 10.000 Seiten, die sich täglich ändern.

Hans erklärt's mit Schrauberhänden 🔧

Das Crawl-Budget ist die Zeit, die der Prüfer in deiner Halle verbringt. Stehen überall doppelte Teile und Sackgassen herum, schafft er die neuen Maschinen hinten nicht mehr.

Merksatz: Weniger Ballast, mehr Zeit für die wichtigen Seiten.

Beispiel aus der Praxis

Dein Shop erzeugt für jede Sortierung und jeden Filter eine eigene URL, aus wenigen tausend Produkten werden so sehr viele Adressen. Sperrst du die Filtervarianten per robots.txt, verbringt der Crawler seine Zeit wieder bei den Produktseiten.

Darauf kommt es an

Räum deinen URL-Bestand auf: doppelte Inhalte zusammenführen, unwichtige Varianten wie anders sortierte Listen per robots.txt sperren, gelöschte Seiten mit 404 oder 410 beantworten und lange Weiterleitungsketten vermeiden. Ein noindex spart kein Crawling, weil Google die Seite trotzdem abruft. Für kleinere Websites reicht laut Google eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung.

Weiter lernen: Passende Seite auf mentat.codes →

Verwandte Begriffe

Kurz gefragt

Was ist das Crawl-Budget?

Die Menge an URLs einer Website, die Google crawlen kann und will. Sie ergibt sich aus der Crawling-Kapazität, also wie viel der Server verträgt, und dem Crawling-Bedarf. Wichtig ist das laut Google vor allem für Websites ab etwa einer Million Seiten oder ab 10.000 Seiten, die sich täglich ändern.

Worauf sollte ich bei Crawl-Budget achten?

Räum deinen URL-Bestand auf: doppelte Inhalte zusammenführen, unwichtige Varianten wie anders sortierte Listen per robots.txt sperren, gelöschte Seiten mit 404 oder 410 beantworten und lange Weiterleitungsketten vermeiden. Ein noindex spart kein Crawling, weil Google die Seite trotzdem abruft. Für kleinere Websites reicht laut Google eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung.

Weiter geht's 🧭

Thematisch verwandt, handverlesen von einem Skript mit gutem Geschmack.

Warum so kurz erklärt?

Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.

Heute bei mentat.codes

Gratis-Perle des Tages

Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale

Prompt des Tages

Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek

Tool des Tages

Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe

Hat dir die Seite geholfen?Bleibt nur in deinem Browser, wir zählen nichts.

Fragen, Tool-Vorschlag oder einen Fehler gefunden?