Passer au contenu principal

le contenu bloqué ce sont des pages de moteurs de recherche qui sont bloquées pour diverses raisons. Il peut s'agir de pages qui ne peuvent pas être indexées par les moteurs de recherche, telles que des pages en statut bêta ou des pages au contenu dupliqué.

Il existe plusieurs méthodes pour bloquer les moteurs de recherche :

  • Robots.txt,
  • Blocage IP,
  • Les méta-robots.

Robots.txt

Robots.txt (également : protocole d'exclusion des robots) est un fichier texte pour les robots, qui est stocké dans le répertoire racine. Lors de l'indexation d'une page, le robot vérifie si un fichier robots.txt existe et quelles instructions il contient. Des pages spécifiques ou des répertoires entiers peuvent être exclus avec le fichier robots.txt. Ils seront ignorés par les robots des moteurs de recherche et ne seront ni explorés ni indexés. Cependant, il arrive parfois que des pages soient incluses dans l'index malgré d'autres instructions dans le fichier robots.txt. Cela se produit principalement lorsque les pages sont accessible depuis d'autres pages, c'est-à-dire lorsqu'ils sont liés à d'autres pages.

600x400-LockedContent-fr-01.png

Blocage IP

Le blocage IP peut également empêcher l'inclusion de pages dans l'index du moteur de recherche. Certains agents utilisateurs (par exemple, les robots des moteurs de recherche, les spambots) sont exclus via un fichier .htaccess. Mais cette méthode utile uniquement si le nom du bot est connu essayer d'entrer et votre adresse IP. Étant donné que les robots des moteurs de recherche se déguisent temporairement en autres robots, l'exclusion de l'index n'est pas nécessairement garantie.

Google Analytics peut être anonymisé afin qu'il ne puisse pas stocker l'adresse IP.

méta-robots

La troisième et probablement la meilleure méthode pour exclure le contenu Web de l'indexation par les moteurs de recherche est l'utilisation de méta-bots. Les méta-robots sont une balise méta HTML qui fournit aux robots des moteurs de recherche des instructions spécifiques indiquant si le site doit être indexé par les moteurs de recherche ou si les liens de la page doivent être suivis. Cette balise meta est déclarée dans l'en-tête d'une page. Si vous cherchez à exclure le contenu de la page, les instructions dans la balise robot seraient :

 

Recommandation

Lors du blocage de pages, il est fondamentalement important d'exclure le bon contenu. Vous devez vous assurer que les pages importantes sont bien liées en interne et ne sont pas accidentellement bloquées. Si des pages précieuses sont bloquées, elles ne peuvent pas être indexées et ne transmettent aucun jus de lien précieux.

Liens web

R Marketing Numérique