Robots txt

¿Qué es el Robots txt?

Robots txt, o más bien, robots.txt, es un archivo de texto plano que se crea y se conecta a un portal online para determinar una serie de reglas relacionadas con el comportamiento de los robots indexadores de los buscadores, los crawlers o arañas. Por lo general, se usa con la finalidad de impedir que rastreen determinados contenidos y, de esta manera, no los indexen para aparecer entre las SERPs.

Utilizarlos es sencillo, aún cuando se puede hacer de distintos maneras. El responsable de elaborarlo puede indicar de forma directa las URLs que no han de llevarse al buscador o, si lo prefiere, determinar directorios, subdirectorios o archivos que opten mantenerse alejados de Google y el resto de motores de búsqueda.

A pesar de la finalidad que posee, usar este fichero no es total garantía de que no haya indexación, por lo que no es recomendable al momento de mantener algunas secciones de un portal online como privadas. Es una acción válida, pero no definitiva puesto que no es capaz de garantizar un hermetismo total. En casos como ese es mejor buscar otras alternativas que sí sean más eficaces.

Comandos como disallow son los que suelen aparecer al momento de abrir un archivo robots.txt. Es muy importante entender su estructura y su utilización, aún cuando para esto añadiremos una serie de enlaces más adelante con la finalidad de complementar la información.

Para qué sirve el Robots txt

Este archivo, el robots txt, sirve para que ni Google ni otros buscadores indexen en sus páginas de resultados (SERPs), determinadas partes de un portal online. Es algo que las compañías suelen usar para dejar fuera aquellas página que puedan ser penalizadas e impactar negativamente en el SEO, como por ejemplo en casos de contenido duplicado, o si básicamente prefieren alejar determinados contenidos de los buscadores.

Además puede emplearse para dictar a los robots de los motores de búsqueda relacionadas con cómo deben rastrear otros contenidos de la web. Su función trasciende del impedimento y del permiso, de ahí que sea un elemento bastante importante al momento de elaborar un portal online.

Ejemplos de Robots txt

Hay tantos archivos robots txt como páginas web en la red de redes; a pesar de todo, para lanzar un ejemplo sencillo de cómo puede ser la estructura de uno, vamos a escribir las siguientes líneas:

User-Agent: *

Disallow: /agencia-social-media/

Sitemap: https://neoattack.com/sitemap.xml

En esta circunstancia, se ha establecido una regla para todos los robots de los distintos buscadores (primera línea) que indica que nuestra sección de servicios Social Media no debe indexarse (segunda línea) y, en resumen, se ha indicado la supuesta ruta de nuestro sitemap (tercera línea), un requerimiento obligatorio para estos ficheros.

Más información sobre el Robots txt

Para aprender a construir un archivo Robots txt, al mismo tiempo de para aprender más sobre su uso y posibilidades, te sugerimos echar un vistazo a las publicaciones que existen a continuación.