Q:
¿Cómo puedo aprender a usar Hadoop para analizar big data?
UN:El conjunto de software de Apache conocido como Hadoop se está convirtiendo en un recurso muy popular para manejar grandes conjuntos de datos. Este tipo de marco de software de manejo de datos se creó para ayudar a agregar datos de maneras específicas, basadas en diseños que pueden hacer que algunos tipos de proyectos de datos sean más eficientes. Dicho esto, Hadoop es solo una de las muchas herramientas para manejar grandes conjuntos de datos.
Una de las primeras y más básicas formas de aprender sobre el análisis de big data con Hadoop es comprender algunos de los componentes de nivel superior de Hadoop y lo que hace. Estos incluyen una "plataforma de administración de recursos" Hadoop YARN que se puede aplicar a ciertos tipos de configuraciones de red, así como un conjunto de funciones Hadoop MapReduce que se aplican a grandes conjuntos de datos. También hay un sistema de archivos distribuidos de Hadoop (HDFS), que ayuda a almacenar datos en sistemas distribuidos para que puedan indexarse o recuperarse de manera rápida y eficiente.
Más allá de esto, aquellos que quieran familiarizarse con Hadoop pueden consultar los recursos individuales publicados para profesionales que explican el software en un nivel identificable. Este ejemplo de Chris Stucchio en un blog personal proporciona un excelente conjunto de puntos sobre Hadoop y la escala de datos. Una de las conclusiones básicas es que Hadoop puede usarse más comúnmente de lo necesario y puede no ser la mejor solución para un proyecto individual. La revisión de este tipo de recursos ayudará a los profesionales a familiarizarse con los detalles del uso de Hadoop en cualquier escenario dado. Stucchio también proporciona metáforas para relacionar las funciones de Hadoop con tareas físicas específicas. Aquí, el ejemplo es contar el número de libros en una biblioteca, mientras que una función Hadoop podría dividir esa biblioteca en secciones, proporcionando recuentos individuales que se combinan en un resultado de datos agregado.
Una forma más profunda de que los profesionales puedan aprender más sobre Hadoop y su aplicación a big data es a través de recursos y programas de capacitación específicos. Por ejemplo, la compañía de aprendizaje en línea Cloudera, un destacado proveedor de sesiones de capacitación remota, tiene una serie de opciones interesantes sobre el uso de Hadoop y tipos similares de manejo de datos.
