Das Crawling-Budget o Das Crawling-Budget wird als maximale Anzahl von Seiten festgelegt, die Google in einem Webportal crawlt.
Definition
Google selbst legt fest, wie viele Unterseiten pro URL gecrawlt werden. Dies ist nicht für alle Websites gleich, wird jedoch laut Matt Cutts hauptsächlich anhand des PageRank einer Seite ermittelt. Je höher der PageRank, desto höher das Crawling-Budget. Das Crawling-Budget bestimmt auch, wie oft die wichtigsten Seiten einer Website gecrawlt werden und wie oft ein ausführliches Crawlen ausgeführt wird.
Differenzierung des Indexbudgets
Der Begriff Indexbudget unterscheidet sich von einem Crawling-Budget. Bestimmen Sie, wie viele URLs indiziert werden können. Der Unterschied wird deutlich, wenn eine Website enthält Mehrere Seiten geben einen 404-Fehlercode zurück. Jede angeforderte Seite verfügt über das Crawling-Budget. Wenn sie jedoch aufgrund einer Fehlermeldung nicht indiziert werden kann, wird das Indexbudget nicht vollständig verwendet.
Problem
Das Crawling-Budget oder Crawling-Budget stellt ein Hindernis für größere Websites mit vielen Unterseiten dar. Insbesondere werden nicht alle Unterseiten gecrawlt, sondern nur ein Teil davon. Deshalb, Nicht alle Unterseiten können indiziert werden. Dies bedeutet wiederum, dass Website-Betreiber Datenverkehr verlieren können, weil die relevanten Seiten nicht indiziert wurden.
Bedeutung für SEO
Es gibt einen ganzen Abschnitt der Suchmaschinenoptimierung, der speziell auf diese Situation zugeschnitten ist, um den Googlebot so zu steuern, dass die vorhandenen Crawling-Budgets sehr sinnvoll verwendet werden und die qualitativ hochwertigen Seiten für den Suchbetreiber von besonderer Bedeutung sind Engine. Webportal sind indiziert. Seiten, die von geringerer Bedeutung sind, sollten zuerst identifiziert werden. Dies würde insbesondere Seiten mit schlechtem Inhalt oder wenig Informationen sowie fehlerhafte Seiten einschließen, die einen 404-Fehlercode zurückgeben. Diese Seiten muss vom Crawlen ausgeschlossen werden Damit bleibt das Crawling-Budget für Seiten mit der besten Qualität verfügbar. Als nächstes sollten die wichtigen Unterseiten so gestaltet werden, dass sie vorrangig von Spinnen gecrawlt werden. Mögliche Aktionen im Rahmen der Crawling-Optimierung sind:
- Implementierung einer Flat-Page-Architektur, bei der die Unterseitenpfade so kurz wie möglich sind und nur wenige Klicks erfordern.
- Interne Links von Seiten mit vielen Backlinks zu Seiten, die häufiger gecrawlt werden sollen.
- Sehr gute interne Links von den wichtigsten Seiten.
- Ausschluss unwichtiger Seiten für das Crawlen mithilfe der robots.txt-Datei (z. B. Anmeldeseiten, Kontaktformulare, Bilder).
- Schließen Sie die Rückverfolgbarkeit oder das Crawlen durch die Verwendung von Metadaten (noindex, nofollow) aus.
- Stellen Sie eine XML-Sitemap mit einer Liste von URLs für die wichtigsten Unterseiten bereit.
Wenn das Portfolio der gecrawlten und indizierten Seiten durch Crawling-Optimierung verbessert wird, kann auch die Positionierung verbessert werden. Gut eingestufte Seiten werden häufiger gecrawlt, was sich wiederum auszahlt.
Ein informativer Vortrag zu "Crawl Budget Best Practices" von Jan Hendrik Jacob Merlin auf der SEOkomm 2015 finden Sie hier.
Web-Links
