Qu`est-ce qu`une araignée internet?

La possibilité de créer des liens entre les pages Web est un aspect clé de l`Internet. Pages d`un site peuvent lier les uns aux autres, ainsi que d`autres sites, ce qui permet aux utilisateurs d`accéder à des informations en utilisant simples clics de souris. Il en résulte la structure du Web, qui est une masse de contenu Web lié par l`intermédiaire des ancres HTML. Web crawlers suivent ces liens pour obtenir des informations sur les sites existants, en utilisant souvent les données découvertes lors de l`exploration de présenter les résultats des moteurs de recherche.

Les moteurs de recherche envoient le trafic des visiteurs vers les sites Web énumérés dans leurs pages. Lorsqu`un utilisateur entre un terme de recherche et effectue une recherche, les résultats présentés contiennent souvent des informations obtenues par l`analyse. Les données recueillies par un programme d`araignée Web comprend une partie du contenu réel du site. Les moteurs de recherche se nourrissent de ces données dans les algorithmes qu`ils utilisent pour classer les sites par ordre d`importance dans les listes de recherche. programmes d`araignées Internet arrivent souvent à un site en suivant un lien depuis un autre site. Lors de l`analyse des données d`analyse, l`un des principaux objectifs pour les moteurs de recherche est de déterminer quels mots-clés de recherche d`un site ou d`une page doit être répertorié pour.

Les propriétaires de sites peuvent atteindre un niveau de contrôle sur la façon dont les araignées Web accèdent à leur contenu. De nombreux sites Web stockent un fichier texte dans le répertoire racine nommé "robots.txt." Lorsque le programme de robot lance l`exploration d`un site, il sera normalement d`abord vérifier pour tout "robots.txt" fichiers, analyser le contenu. Les propriétaires de sites peuvent structurer leur "robots.txt" déposer d`une manière qui empêche le programme de procéder à explorer les pages dans le site s`ils ne veulent pas qu`il soit indexé. Le degré de succès de cette technique varie, comme dans certains cas, le programme d`araignée ne sera pas réellement vérifier le fichier de texte du tout.

Les gens qui se spécialisent dans le marketing Internet se concentrent souvent une partie de leurs efforts sur la maximisation du contenu et de la structure d`un site pour mieux répondre aux robots des moteurs de recherche et les algorithmes de classement. La capacité de ce faire avec succès est parfois entravée par le fait que les organisations des moteurs de recherche aiment garder les détails de leur algorithmes secret. SEO (Search Engine Optimization) est la pratique de l`adaptation de la structure et le contenu d`un site pour effectuer aussi bien que possible dans les moteurs de recherche les pages de résultats.