KI-Glossar · KI-Begriff 102 von 218
Was ist das Crawl-Budget?
Die Menge an URLs einer Website, die Google crawlen kann und will. Sie ergibt sich aus der Crawling-Kapazität, also wie viel der Server verträgt, und dem Crawling-Bedarf. Wichtig ist das laut Google vor allem für Websites ab etwa einer Million Seiten oder ab 10.000 Seiten, die sich täglich ändern.
Hans erklärt's mit Schrauberhänden 🔧
Das Crawl-Budget ist die Zeit, die der Prüfer in deiner Halle verbringt. Stehen überall doppelte Teile und Sackgassen herum, schafft er die neuen Maschinen hinten nicht mehr.
Merksatz: Weniger Ballast, mehr Zeit für die wichtigen Seiten.
Beispiel aus der Praxis
Dein Shop erzeugt für jede Sortierung und jeden Filter eine eigene URL, aus wenigen tausend Produkten werden so sehr viele Adressen. Sperrst du die Filtervarianten per robots.txt, verbringt der Crawler seine Zeit wieder bei den Produktseiten.
Darauf kommt es an
Räum deinen URL-Bestand auf: doppelte Inhalte zusammenführen, unwichtige Varianten wie anders sortierte Listen per robots.txt sperren, gelöschte Seiten mit 404 oder 410 beantworten und lange Weiterleitungsketten vermeiden. Ein noindex spart kein Crawling, weil Google die Seite trotzdem abruft. Für kleinere Websites reicht laut Google eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung.
Weiter lernen: Passende Seite auf mentat.codes →
Verwandte Begriffe
- robots.txtTextdatei im Stammverzeichnis einer Website, in der du Crawlern mitteilst, welche Bereiche sie abrufen dürfen und welche nicht. Seriöse Crawler halten sich daran, ein Zugriffsschutz ist sie aber nicht.
- XML-SitemapDatei im XML-Format, die Suchmaschinen die URLs einer Website auflistet, die gecrawlt werden sollen, optional mit Datum der letzten Änderung. Eine Datei darf höchstens 50.000 URLs oder 50 MB (unkomprimiert) enthalten, größere Websites teilen sie auf.
- Canonical-TagHTML-Angabe im Kopf einer Seite, die der Suchmaschine sagt, welche URL die maßgebliche Fassung ist, wenn derselbe oder ein sehr ähnlicher Inhalt unter mehreren Adressen erreichbar ist. Sie ist ein Hinweis, keine feste Anweisung.
- Interne VerlinkungLinks zwischen den Seiten derselben Website. Sie helfen Besuchern und Suchmaschinen, Seiten zu finden und ihren Zusammenhang zu verstehen. Google empfiehlt, dass jede wichtige Seite von mindestens einer anderen Seite der Website verlinkt ist, mit einem beschreibenden Linktext.
Kurz gefragt
Was ist das Crawl-Budget?
Die Menge an URLs einer Website, die Google crawlen kann und will. Sie ergibt sich aus der Crawling-Kapazität, also wie viel der Server verträgt, und dem Crawling-Bedarf. Wichtig ist das laut Google vor allem für Websites ab etwa einer Million Seiten oder ab 10.000 Seiten, die sich täglich ändern.
Worauf sollte ich bei Crawl-Budget achten?
Räum deinen URL-Bestand auf: doppelte Inhalte zusammenführen, unwichtige Varianten wie anders sortierte Listen per robots.txt sperren, gelöschte Seiten mit 404 oder 410 beantworten und lange Weiterleitungsketten vermeiden. Ein noindex spart kein Crawling, weil Google die Seite trotzdem abruft. Für kleinere Websites reicht laut Google eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung.
Weiter geht's 🧭
Thematisch verwandt, handverlesen von einem Skript mit gutem Geschmack.
Passt dazu 6
- GlossarWas ist die Indexierung? Einfach erklärt mit Beispiel
- GlossarWas ist Duplicate Content? Einfach erklärt mit Beispiel
- PromptSitemap sichten: Prompt-Vorlage
- SkillSEO-Audit: Skill für ChatGPT, Claude, Gemini
- RatgeberPrüfplan: Nennen ChatGPT, Perplexity und Google deine Marke?
- RatgeberKI-Training per robots.txt ausschließen, ohne KI-Sichtbarkeit zu verlieren
Wer hierher verlinkt 13
Beliebt im Viertel: 13 Seiten zeigen auf diese hier. Die passendsten:
- GlossarWas ist interne Verlinkung? Einfach erklärt mit Beispiel
- GlossarWas ist die Indexierung? Einfach erklärt mit Beispiel
- GlossarWas ist Noindex? Einfach erklärt mit Beispiel
- GlossarWas ist eine XML-Sitemap? Einfach erklärt mit Beispiel
- GlossarWas ist Duplicate Content? Einfach erklärt mit Beispiel
- GlossarWas ist Paginierung? Einfach erklärt mit Beispiel
Warum so kurz erklärt?
Weil ein Glossar zum Nachschlagen da ist. Wer tiefer will, findet unten die Seiten, auf denen der Begriff in der Praxis vorkommt.
Heute bei mentat.codes
Gratis-Perle des Tages
Jeden Tag eine handverlesene Gratis-Perle mit Dofollow-Link. Alle Gratis-Portale
Prompt des Tages
Jeden Tag eine andere Vorlage zum Kopieren. Zur Prompt-Bibliothek
Tool des Tages
Jeden Tag ein anderes KI-Tool mit Preisen laut Anbieter. Alle Steckbriefe
Fragen, Tool-Vorschlag oder einen Fehler gefunden?