Tabla de contenido:
Definición - ¿Qué significa Spider?
En el contexto de Internet, una araña es un software especializado diseñado para rastrear y navegar sistemáticamente en la World Wide Web, generalmente con el fin de indexar páginas web para proporcionarlas como resultados de búsqueda para consultas de búsqueda de usuarios. La más famosa de estas arañas es el robot de Google, el principal rastreador de Google, que ayuda a garantizar que se devuelvan resultados relevantes para las consultas de búsqueda.
Las arañas también se conocen como rastreadores web, robots de búsqueda o simplemente robots.
Techopedia explica Spider
Una araña es esencialmente un programa utilizado para recolectar información de la World Wide Web. Se rastrea a través de las páginas de los sitios web extrayendo información e indexándola para su uso posterior, generalmente para resultados de motores de búsqueda. La araña visita los sitios web y sus páginas a través de los diversos enlaces hacia y desde las páginas, por lo que una página sin un solo enlace será difícil de indexar y puede clasificarse realmente bajo en la página de resultados de búsqueda. Y si hay muchos enlaces que apuntan a una página, esto significaría que la página es popular y aparecería más arriba en los resultados de búsqueda.
Pasos involucrados en el rastreo web:
- La araña encuentra un sitio y comienza a rastrear sus páginas.
- La araña indexa las palabras y los contenidos del sitio.
- La araña visita los enlaces que se encuentran en el sitio.
Las arañas o webcrawlers son solo programas y, como tales, siguen reglas sistemáticas establecidas por los programadores. Los propietarios de sitios web también pueden obtener información al decirle a la araña qué partes del sitio deben indexar y cuáles no. Esto se hace creando un archivo "robots.txt" que contiene instrucciones para la araña con respecto a qué partes indexar y enlaces a seguir y cuáles debe ignorar. Las arañas más importantes que existen son las que pertenecen a los principales motores de búsqueda como Google, Bing y Yahoo, y aquellas destinadas a la minería de datos y la investigación, pero también hay algunas arañas maliciosas escritas para encontrar y recopilar correos electrónicos para que el usuario los venda a las empresas. o para encontrar vulnerabilidades en la seguridad web.
