<\/p>\n
Googlebot<\/b> es el crawler de Google, que recopila documentos de Internet y los entrega m\u00e1s tarde para la b\u00fasqueda de Google. Recopila documentos por medio de de un procedimiento automatizado, que funciona de forma muy parecida a un navegador web. El bot env\u00eda una petici\u00f3n y recibe una respuesta de un servidor.\n<\/p>\n
Si ciertos par\u00e1metros permiten el acceso al Googlebot, \u00e9ste sube una sola p\u00e1gina web, a la que se puede entrar por medio de de una URL y la almacena inicialmente en el \u00edndice de Google. As\u00ed es como Googlebot rastrea el Internet global usando recursos distribuidos. La potencia inform\u00e1tica de Googlebot se distribuye por medio de de un enorme sistema de centros de datos, por lo que puede crawlear cientos de webs simult\u00e1neamente.\n<\/p>\n
La tecnolog\u00eda de crawl de Google es simplemente un algoritmo que funciona de forma independiente. Se basa en el concepto de la WWW (world wide web). Internet puede ser concebido como una red muy grande de webs, incluyendo nodos, enlaces, hiperv\u00ednculos.\n<\/p>\n
Matem\u00e1ticamente, este concepto puede describirse como un gr\u00e1fico. Cada nodo es alcanzable por medio de de una direcci\u00f3n web, la URL. Los enlaces en una web conducen a otras subp\u00e1ginas u otros recursos con otra URL o direcci\u00f3n de dominio. Por ende, el crawler distingue entre enlaces HREF (las conexiones) y enlaces SRC (los recursos). La rapidez y eficacia con la que un crawler puede buscar en todo el gr\u00e1fico se describe en la teor\u00eda de gr\u00e1ficos.\n<\/p>\n
Google trabaja con distintos t\u00e9cnicas. Por un lado, Google usa el multi-threading<\/b>, es decir, el procesamiento simult\u00e1neo de varios procesos de crawl. A parte de esto, Google trabaja con crawlers focalizados, que se enfocan en temas tem\u00e1ticamente restringidos, por ejemplo, la b\u00fasqueda en la web de ciertos tipos de enlaces, sitios web o contenido. Google tiene un bot para crawlear im\u00e1genes, uno para promoci\u00f3n comercial en buscadores y otro para dispositivos m\u00f3viles.\n<\/p>\n Los webmasters y operadores web disponen distintos opciones para proporcionar informaci\u00f3n sobre sus sitios al crawler, o inclusive para negarla. Cada crawler se etiqueta inicialmente con el t\u00e9rmino \u00abagente de usuario\u00bb. El nombre de Googlebot en los archivos de registro del servidor es \u00abGooglebot\u00bb con la direcci\u00f3n de host \u00abgooglebot.com\u00bb.[1]<\/sup><\/p>\n Para el buscador Bing, es \u00abBingBot\u00bb y la direcci\u00f3n es \u00abbing.com\/bingbot.htm\u00bb. Los archivos de registro revelan qui\u00e9n env\u00eda las solicitudes al servidor. Los webmasters pueden negar el acceso a ciertos bots o concederles acceso. Esto se hace por medio de del archivo Robots.txt, utilizando el atributo Disallow: o con ciertas metaetiquetas de un documento HTML. Al a\u00f1adir una metaetiqueta en la p\u00e1gina web, el webmaster puede conceder al Googlebot un acceso limitado a la data de su sitio, seg\u00fan sea necesario. Esta metaetiqueta podr\u00eda verse as\u00ed:\n<\/p>\n Se puede definir la frecuencia con la que Googlebot debe crawlear una web. Esto se hace normalmente en la Consola de B\u00fasqueda de Google. Esto es sobre todo recomendable cuando el crawler reduce el rendimiento del servidor o si el portal web se actualiza muchas veces y, de este modo, debe crawlearse muchas veces. Hace falta conocer el n\u00famero de p\u00e1ginas de una web que van a ser crawleadas, puesto que es esencial saber el presupuesto del crawl.\n<\/p>\n Es sobre todo importante saber c\u00f3mo funciona Googlebot para la optimizaci\u00f3n de los motores de b\u00fasqueda de los sitios web, no s\u00f3lo en teor\u00eda, sino especialmente en la pr\u00e1ctica<\/b>. Es recomendable proporcionar una nueva URL al crawler (seeding), es decir, proporcionar al bot una direcci\u00f3n como URL de inicio. Puesto que el bot encontrar\u00e1 contenido y enlaces adicionales en otros sitios web por medio de de enlaces, un link HREF sobre un recurso espec\u00edfico puede garantizar que el bot recibir\u00e1 una nueva URL.\n<\/p>\n Tu b\u00e1sicamente env\u00edas un ping a la WWW. Tarde o temprano, Googlebot se encontrar\u00e1 con la direcci\u00f3n. Al mismo tiempo, se recomienda proporcionar sitemaps al bot. Esto le da informaci\u00f3n importante sobre la estructura de tu web y a la vez sabr\u00e1 qu\u00e9 URL debe seguir a continuaci\u00f3n. Esto es concretamente \u00fatil cuando se ha relanzado una web.\n<\/p>\n Puesto que Googlebot puede leer distintos tipos de contenido, no s\u00f3lo texto o im\u00e1genes, deber\u00edas estar atento al desarrollo web. Google ha estado trabajando durante varios a\u00f1os en la lectura de contenido Flash, p\u00e1ginas web din\u00e1micas, JavaScript y c\u00f3digo Ajax y ya tiene un \u00e9xito parcial en estas \u00e1reas.[2]<\/sup> Ciertos m\u00e9todos como GET o POST ya pueden ser identificados por Googlebot y partes del contenido Flash adem\u00e1s pueden ser le\u00eddos.[3]<\/sup><\/p>\n \n<\/div>\n","protected":false},"excerpt":{"rendered":" Googlebot is Google's crawler, which collects documents from the Internet and delivers them later for Google search. Collect documents through an automated procedure,\u2026<\/p>","protected":false},"author":1,"featured_media":0,"parent":0,"template":"","glossary-cat":[],"class_list":["post-69489","glossary","type-glossary","status-publish"],"yoast_head":"\n\nAplicaci\u00f3n pr\u00e1ctica<\/span>
\n<\/h2>\n<meta name = \"Googlebot\" content = \"nofollow\" \/> \n<\/pre>\n
\nRelevancia para el SEO<\/span>
\n<\/h2>\n\n<\/h2>\n
\nEnlaces Web<\/span>
\n<\/h2>\n\n