Concepto de Disallow
¿Qué es el Disallow?
le Refuser, cuya traducción literal es Rechazar, sirve para denegar el acceso a una página o directorio concreto. Se le asocia con el archivo Robots.txt y se le conoce como protocolo de exclusión de robots, el cual impide que los robots de algunos buscadores rastreen contenidos que no pretendemos que indexen en sus resultados.
En el punto contrario está el Allow, que permite indicar al rastreador una URL o directorio al que sí pueda indexar o rastrear. Ambos contienen reglas específicas que solo se aplican a los agentes que hayamos especificado anteriormente. Es viable incluir varias líneas Disallow a distintos agentes de usuarios.
Para crear un Disallow All en robots.txt, se usan el User-Agent (*) y el Disallow (/). El primero hace que la instrucción se aplique a todos los robots. El segundo consigue bloquear el acceso a todas las páginas que estén disponibles en el dominio web.
El inconveniente está en que, al momento de utilizar la app, las reglas introducidas no son obligatorias. A pesar de programar el Disallow, el robot puede elegir si hace caso o no. Por lo que, algunos navegadores pueden indexar la página o link a pesar de indicar lo contrario. Para garantizar un buen bloqueo de todos los robots, se puede usar los meta tag y añadir los códigos en ciertas plantillas.
Para qué sirve el Disallow
Sirve para todo aquel que esté desarrollando un proyecto o emprendimiento web y, al estar en etapa de desarrollo, no desea que los enlaces sean visualizados y anexados en buscadores. De esta dinámica, podrá garantizar la privacidad de su trabajo hasta que esté listo para ser habilitado al público.
Además si el portal web contiene ciertas informaciones que solo pueden ingresar algunos usuarios, o quieras conseguir público selectivo de acuerdo al país, región y edad, entre otras características. Pueden ser varios las razones por los cuales se decide usar esta instrucción. Lo ideal es saber para qué sirven ciertos códigos y cómo usarlos correctamente.
Ejemplos de Disallow
Il y a distintos tipos de Disallow para bloquear total o parcialmente un link, página o portal web. Uno de ellos es el Disallow/admin, que excluye el rastreo del directorio del administrador de un portal web. Además está el Disallow/ *.gif, que impide el acceso a los archivos GIF del portal web.
Cada código añadido tiene distintos funcionalidades, desde bloquear imágenes hasta bloquear acceso a directorios enteros.
Más información sobre Disallow
Si te interesa aprender a usar el archivo robot.txt y codificar de forma correcta los códigos de bloqueo, te sugerimos la lectura del siguiente post:
