Tal como están las cosas, dice el CEO de Cloudera, Mike Olson, la plataforma de análisis de Hadoop tiene algunas limitaciones significativas que involucran velocidad y complejidad. Sin embargo, los líderes de la industria, incluidos los de su propia empresa, están trabajando para cambiar eso, confiando en que esta herramienta de investigación evolucionará de manera fundamental en los próximos años.
En la Conferencia Strata del año pasado, Olson le pidió a una audiencia que imaginara cómo, si se creara hoy, Hadoop se diseñaría de manera diferente, postulando que algunos cambios específicos podrían abrir nuevas puertas a la investigación en campos como la educación, la energía y la agricultura. Citando al cosmólogo y autor científico Carl Sagan, Olson enfatizó la importancia de desglosar los datos de alto nivel para una mayor audiencia.
"Creo que estamos al borde de los principales descubrimientos importantes para los negocios y la sociedad", dijo Olson.
Un ejemplo, señaló, es el descubrimiento científico hecho posible por el trabajo de profesionales científicos en el Gran Colisionador de Hadrones en Suiza. Según Olson, es la evaluación diaria de 37 terabytes de datos lo que ha llevado a avances clave como el descubrimiento de Higgs-Boson en la cuenca, que reveló aspectos clave de la materia y la energía. Olson agregó que Hadoop ayuda a ayudar en estos proyectos de investigación fundamentales al capturar una enorme cantidad de datos en un único repositorio, pero que es difícil interactuar con esos datos en tiempo real.
Tras exponer las formas en que Hadoop y tecnologías similares pueden ayudar a los científicos en áreas clave, como la atención médica, Olson también anunció el proyecto Impala, algo en lo que su compañía ha estado trabajando durante dos años, con dos cuartos de pruebas beta en coordinación con los principales clientela. El proyecto Impala, dijo Olson, es una tecnología "100% de código abierto" con licencia de Apache que funciona con Hadoop como un "motor de consulta en tiempo real". Esto, dijo Olson, permite lo que él llama "consultas de velocidad de pensamiento", donde los usuarios pueden hacer una pregunta, obtener una respuesta y formular una nueva pregunta para utilizar efectivamente los principales grupos de datos.
"Le brinda una nueva forma de obtener sus datos", dijo Olson, describiendo cómo este tipo de avance podría abrir oportunidades adicionales para resolver problemas importantes en los Estados Unidos y en el extranjero.
