Tabla de contenido:
Definición - ¿Qué significa JobTracker?
JobTracker es un demonio que se ejecuta en el motor MapReduce de Apache Hadoop. JobTracker es un servicio esencial que aglutina todas las tareas de MapReduce a los diferentes nodos del clúster, idealmente a aquellos nodos que ya contienen los datos, o al menos se encuentran en el mismo rack que los nodos que contienen los datos.
Techopedia explica JobTracker
JobTracker es el servicio dentro de Hadoop que es responsable de tomar las solicitudes de los clientes. Los asigna a TaskTrackers en DataNodes donde los datos requeridos están presentes localmente. Si eso no es posible, JobTracker intenta asignar las tareas a TaskTrackers dentro del mismo rack donde los datos están presentes localmente. Si por alguna razón esto también falla, JobTracker asigna la tarea a un TaskTracker donde existe una réplica de los datos. En Hadoop, los bloques de datos se replican en DataNodes para garantizar la redundancia, de modo que si falla un nodo del clúster, el trabajo no falla también.
Proceso JobTracker:
- JobTracker recibe las solicitudes de trabajo de las aplicaciones del cliente,
- JobTracker consulta el NameNode para determinar la ubicación de los datos requeridos.
- JobTracker localiza los nodos de TaskTracker que contienen los datos o al menos están cerca de los datos.
- El trabajo se envía al TaskTracker seleccionado.
- TaskTracker realiza sus tareas mientras es monitoreado de cerca por JobTracker. Si el trabajo falla, JobTracker simplemente vuelve a enviar el trabajo a otro TaskTracker. Sin embargo, JobTracker en sí mismo es un punto único de falla, lo que significa que si falla todo el sistema se cae.
- JobTracker actualiza su estado cuando se completa el trabajo.
- El solicitante del cliente ahora puede sondear información de JobTracker.
