le ramper sans tête est la navigation automatisée sur Internet et des domaines individuels à l'aide d'un navigateur sans tête, qui est un navigateur Web pas d'interface utilisateur graphique. L'exploration sans tête comprend de nombreuses approches et méthodes d'extraction, de stockage, de révision et de traitement des données. Les sites Web, les applications Web et les fonctionnalités Web individuelles peuvent également être automatiquement testés et vérifiés. L'exploration sans tête comprend des superpositions thématiques avec des sujets tels que la récupération d'informations, l'exploration de données, le scraping et l'automatisation des tests.
Informations générales
Jusqu'à récemment, Google recommandait l'utilisation de navigateurs sans tête pour explorer les sites Web dynamiques. Les opérateurs devaient fournir une capture d'écran HTML de leur portail Web, afin que Google puisse lire et examiner son contenu. Le schéma de crawl / crawl AJAX est obsolète et n'est plus utilisé. Au lieu de cela, le contenu du Web est fourni quelle que soit la technologie utilisée, y compris l'appareil, le navigateur et la connexion Internet, ce que l'on appelle l'amélioration progressive. [1]. L'exploration sans tête fait essentiellement partie de tout moteur de recherche. Le contenu Web est parcouru, mais n'est pas rendu ou affiché à l'utilisateur graphiquement.
Ce qu'il advient des données détectées est une question de concentration. Cependant, le moteur de recherche Google est censé utiliser l'exploration sans tête depuis 2004, et JavaScript n'est plus un obstacle depuis octobre 2015. Les moteurs de recherche peuvent utiliser l'exploration sans tête pour parcourir des sites Web. Dans la mesure où le robot d'exploration simule un appel à un portail Web avec une interface non graphique, les moteurs de recherche peuvent tirer des conclusions à partir de ces informations et évaluer les sites Web en fonction de leur comportement de navigateur sans tête. [2].
Comment ça marche
Au centre de l'exploration sans tête se trouve le navigateur sans tête, un programme qui lit le contenu Web, le transmet à d'autres programmes ou l'affiche en fonction du texte sous forme de fichiers, de listes et de tableaux. Ces types de navigateurs obtiennent l'accès aux sites Web grâce à leur implémentation dans une infrastructure de serveur. En option, un serveur virtuel ou un serveur proxy peut être utilisé. À partir de là, le navigateur sans tête tente d'accéder à une URL; c'est le point de départ de la procédure d'exploration, qui démarre avec une ligne de commande ou une commande de script [3]. En fonction de la configuration, le navigateur peut trouver plus d'URL. Le contenu qui y est stocké peut être traité, même la question des positions des liens dans le portail Web est possible. Cependant, une interface API, qui transfère les données au programme de traitement, est souvent nécessaire à cette fin.
Ce qui rend l'exploration sans tête spéciale, c'est la communication de machine à machine (M2M). Les URL appelées et le contenu Web trouvé ne sont pas affichés à l'utilisateur final, comme dans le cas des navigateurs conventionnels. Au lieu de cela, le navigateur sans tête renvoie les données récupérées dans des formats qui doivent être définis au préalable, mais qui peuvent être traités automatiquement plus tard. S'il est mis en œuvre de manière extensive, un navigateur sans tête peut gérer différents langages de programmation, scripts et processus grâce à une API qui peut communiquer avec d'autres programmes ou infrastructures via des requêtes HTTP ou TCP. Ce principe est fréquemment utilisé pour extraire grandes quantités de données, ce qui pose finalement la question de savoir dans quelle mesure il est légal de compiler et de traiter de telles données. En principe, les droits d'auteur, les accords de confidentialité et la confidentialité des utilisateurs pourraient être violés [4]. Il en va de même pour les portails de comparaison de prix, les moteurs de recherche et les fournisseurs de méta-recherche.
Pertinence pratique
L'exploration sans tête n'est pas seulement appliquée dans les moteurs de recherche, mais également dans d'autres cas d'utilisation. Deux exemples:
- Automatisation des tests: Le test de sites Web, d'éléments et de fonctions de sites Web est une utilisation courante de l'exploration sans tête. Par conséquent, les liens rompus, les redirections, les éléments interactifs, les composants individuels (unités) et les modules peuvent être vérifiés pour leur fonction. Vous pouvez tester les caractéristiques de performance et la génération de contenu de site Web à partir de bases de données. Avec une mise en œuvre étendue, les sites Web peuvent être testés de manière relativement complète et, fondamentalement, automatisés. De cette manière, les scénarios de test qui utilisent l'exploration sans tête vont bien au-delà du simple test d'un système en termes de plantages, d'erreurs système et de comportements indésirables. Les tests d'exploration sans tête sont similaires aux tests d'acceptation car le navigateur sans tête peut simuler le comportement des sites Web du point de vue de l'utilisateur et, par exemple, des liens cliquables. [5]. Cependant, des compétences approfondies en programmation et en création de scripts sont requises pour ce scénario. Étant donné que les tests sont effectués à la demande du client ou avec un objet de test choisi dont les droits appartiennent au propriétaire du site, l'automatisation des tests avec exploration sans tête n'est généralement pas répréhensible. Les navigateurs headless connus avec framework (API, support de langage de programmation ou gestion DOM) sont Selenium, PhatnomJS ou HtmlUnit. Les navigateurs headless utilisent généralement un moteur de mise en page, qui est également intégré aux navigateurs conventionnels et aux robots des moteurs de recherche. Des exemples de moteurs de mise en page sont Webkit, Gecko ou Trident.
- Raclage Web: Le grattage est une technique d'exploration dans laquelle les données sont extraites et ajoutées pour une utilisation ultérieure. Parfois, de grandes quantités de données sont collectées, lues et traitées à partir d'une ou plusieurs sources. Le grattage peut être nocif et est classé comme technologie de chapeau noir ou de cracker dans de nombreux scénarios d'utilisation. Les attaques par déni de service (DoS) et par déni de service distribué (DDoS) utilisent le principe de l'exploration sans tête pour accéder à un portail Web ou à une application Web [6]. Habituellement, certaines méthodes illégales sont utilisées, par exemple, pour masquer l'adresse IP (usurpation IP) pour détourner l'attention de l'attaque réelle sur le réseau ou pour infiltrer la communication entre le serveur et divers clients au moyen de TCP (piratage).
Pertinence pour l'optimisation des moteurs de recherche
L'exploration sans tête est un aspect important du référencement. Comme déjà mentionné, le principe est (très probablement) utilisé par divers moteurs de recherche pour explorer des sites Web et des applications Web, même si le schéma d'analyse AJAX est obsolète. Google recommande à différents moments des consignes de qualité d'utiliser un navigateur textuel, tel que Lynx, pour afficher les sites Web tels que Google les voit. On peut supposer que les capacités de Google et d'autres moteurs de recherche peuvent faire beaucoup plus que les navigateurs textuels et ce qui est officiellement communiqué. Par conséquent, il serait logique d'apprendre l'exploration sans tête en détail. Parce qu'avec ce principe, les sites Web peuvent être testés de manière approfondie et avec cette perspective, les référenceurs peuvent s'aventurer à regarder dans les coulisses de l'opérateur du moteur de recherche, sans abandonner les yeux sur les utilisateurs.
Liens web
