Tabla de contenido:
Definición - ¿Qué significa Job Chaining?
Encadenamiento de trabajos es un término en MapReduce que se refiere al lanzamiento de varios pasos en la misma tarea de MapReduce. Con el encadenamiento de trabajos, el primer trabajo envía la salida a un trabajo, que envía la salida al siguiente trabajo en la cadena, y así sucesivamente hasta que se complete el trabajo. Es una forma de canalizar trabajos de MapReduce para hacerlos más manejables.
Techopedia explica Job Chaining
El encadenamiento de trabajos en MapReduce se refiere a ejecutar múltiples tareas en un solo trabajo de MapReduce.
Por ejemplo, una cadena de trabajo podría consistir en:
Mapa1> Reducir1> Mapa2> Reducir2
La ventaja del encadenamiento de trabajos es que elimina la necesidad de datos intermedios entre todos los pasos de una tubería. En ese sentido, el encadenamiento de trabajos es similar a la redirección de entrada / salida en el shell de Unix. La salida de un enlace en la cadena fluye a la entrada en el siguiente trabajo en la cadena. MapReduce permite a los desarrolladores especificar dependencias, o qué trabajos deben completarse antes de procesar los siguientes trabajos en la cadena mediante el uso de la llamada al método addDependingJob ().
Esto facilita que un desarrollador escriba un programa MapReduce que pueda procesar grandes cantidades de datos.
