Das blockierte Inhalte Es handelt sich um Suchmaschinenseiten, die aus verschiedenen Gründen gesperrt sind. Dies können Seiten sein, die von Suchmaschinen nicht indiziert werden können, wie Beta-Seiten oder Seiten mit Duplicate Content.
Es gibt mehrere Methoden zum Blockieren von Suchmaschinen:
- Robots.txt,
- IP-Blockierung,
- Meta-Roboter.
Robots.txt
Robots.txt (auch: Robot Exclusion Protocol) ist eine Textdatei für Robots, die im Root-Verzeichnis abgelegt wird. Beim Indexieren einer Seite prüft der Robot, ob eine robots.txt-Datei existiert und welche Anweisungen sie enthält. Mit der robots.txt-Datei können einzelne Seiten oder ganze Verzeichnisse ausgeschlossen werden. Sie werden von Suchmaschinen-Bots ignoriert und nicht gecrawlt oder indiziert. Es kann jedoch vorkommen, dass Seiten trotz anderer Anweisungen in der Datei robots.txt indiziert werden. Dies geschieht hauptsächlich, wenn die Seiten von anderen Seiten aus zugänglich, das heißt, wenn sie mit anderen Seiten verlinkt sind.
IP-Blockierung
IP-Blockierung kann auch verhindern, dass Seiten von der Suchmaschine indiziert werden. Einige Benutzeragenten (zB Suchmaschinen-Bots, Spam-Bots) werden durch eine .htaccess-Datei ausgeschlossen. Aber diese Methode nur sinnvoll, wenn man den Namen des Bots kennt versuchen, eingeben und Ihre IP. Da sich Suchmaschinen-Robots vorübergehend als andere Robots tarnen, ist ein Ausschluss aus dem Index nicht unbedingt gewährleistet.
Google Analytics kann anonymisiert werden, sodass die IP-Adresse nicht gespeichert werden kann.
Meta-Roboter
Die dritte und wahrscheinlich beste Methode, um Webinhalte von der Indexierung durch Suchmaschinen auszuschließen, ist der Einsatz von Meta-Robotern. Meta-Robots ist ein HTML-Meta-Tag, das Suchmaschinen-Robots spezifische Anweisungen gibt, ob die Site von Suchmaschinen indiziert werden soll oder ob den Links auf der Seite gefolgt werden soll. Dieses Meta-Tag wird im Header einer Seite deklariert. Wenn Sie Inhalte von der Seite ausschließen möchten, lauten die Anweisungen für das Robot-Tag:
Empfehlung
Beim Blockieren von Seiten ist es grundsätzlich wichtig, den richtigen Inhalt auszuschließen. Sie müssen darauf achten, dass wichtige Seiten intern gut verlinkt sind und nicht versehentlich blockiert werden. Wenn wertvolle Seiten blockiert werden, können sie nicht indiziert und an keinen wertvollen Saftlink weitergegeben werden.
Web-Links
