La evolución del big data

A principios de la década de 2000, estaba claro que había una gran necesidad de innovación con respecto a los datos. Las limitaciones sobre lo que las empresas podrían hacer con sus datos frustraron a los ejecutivos y disminuyeron enormemente la eficiencia. Muchas compañías almacenaron cantidades masivas de información, pero simplemente no pudieron administrarla, analizarla o manipularla en su beneficio. Es esta presión creciente la que dio paso a la frontera de big data.

En 2003, Google creó MapReduce, una aplicación de datos que le permitió a la empresa procesar y analizar información sobre sus consultas de búsqueda en miles de servidores en un corto período de tiempo. Tanto escalable como adaptable, el programa permitió a Google realizar miles de tareas de datos en solo minutos, lo que mejoró la productividad y redefinió los límites percibidos sobre lo que se podía hacer con los datos. Casi 10 años después, el big data se ha convertido en un principio central de la tecnología de la información. Su alcance y capacidad de gran alcance ha cambiado fundamentalmente la gestión de datos en el lugar de trabajo. Pero, ¿qué ha provocado esta evolución y cómo afectará exactamente el big data al futuro? Pensamos que nunca preguntarías. (Para obtener información básica sobre big data, consulte Big Data: cómo se captura, analiza y utiliza para tomar decisiones comerciales).

Buscando respuestas a las preguntas de Big Data

La belleza de MapReduce era la forma en que simplificaba las tareas altamente complejas. La comunicación podría gestionarse a través de máquinas, las fallas del sistema podrían abordarse y los datos de entrada podrían organizarse automáticamente, un proceso que podría ser supervisado por personas que ya no necesitaban habilidades altamente técnicas. Al hacer que el procesamiento de datos no solo sea posible sino accesible, Google inspiró un cambio cultural en la gestión de datos. No pasó mucho tiempo antes de que miles de empresas importantes estuvieran usando MapReduce para sus datos.

Pero había un problema: MapReduce era simplemente un modelo de programación. Si bien facilitó los conceptos básicos del procesamiento de datos, no fue en sí la respuesta a las deficiencias de datos existentes; fue solo un paso muy necesario en la dirección correcta. Las corporaciones aún necesitaban un sistema que pudiera abordar sus necesidades únicas de datos e ir más allá de lo esencial de la administración de datos. En resumen, la tecnología necesitaba evolucionar.

Entra Hadoop

Ingrese a Hadoop, un software de marco de código abierto creado por varios programadores, incluido Doug Cutting. Donde MapReduce era básico y amplio, Hadoop proporcionó una especificidad refrescante. Las empresas podían diseñar sus propias aplicaciones a medida que abordaban las necesidades de datos de manera que ningún otro software podía hacerlo, y generalmente era compatible con otros sistemas de archivos. Una empresa con programadores talentosos podría diseñar un sistema de archivos que lograría tareas únicas con datos que antes parecían inalcanzables. Posiblemente, la mejor parte fue que los desarrolladores compartirían aplicaciones y programas entre sí que podrían exponerse y perfeccionarse.

Al democratizar un recurso tan importante, Hadoop se convirtió en una tendencia. Después de todo, ¡muchas grandes corporaciones, especialmente firmas de motores de búsqueda, sintieron que lo habían necesitado durante décadas! No pasó mucho tiempo antes de que los gigantes de los motores de búsqueda, como Yahoo, anunciaran la implementación de grandes aplicaciones de Hadoop que generaban datos utilizados en consultas de búsqueda web. En lo que pareció una ola, varias compañías prominentes anunciaron la adopción de esta tecnología para sus bases de datos masivas, incluidas Facebook, Amazon, Fox, Apple, eBay y FourSquare. Hadoop estableció el nuevo estándar para el procesamiento de datos.

Big Data, grandes problemas

Si bien los avances en la tecnología de datos han rediseñado la forma en que las empresas tratan los datos, muchos ejecutivos todavía los encuentran no equipados para la gama completa de tareas requeridas. En julio de 2012, Oracle lanzó una encuesta a más de 300 ejecutivos de nivel C, que revelaron que, si bien el 36 por ciento de las empresas confían en TI para administrar y analizar datos, el 29 por ciento de ellas siente que sus sistemas carecen de las capacidades suficientes para cumplir con sus compañías ' necesidades. Posiblemente, el hallazgo más sorprendente del estudio fue que el 93 por ciento de los encuestados creía que su empresa estaba perdiendo hasta el 14 por ciento de sus ingresos al no poder utilizar los datos recopilados. Esos ingresos podrían gastarse en hacer mejores productos y contratar más trabajadores. En un momento en que las empresas luchan por mantenerse rentables, es necesario mejorar los datos para que las empresas puedan ser más rentables. La encuesta indica que a pesar de aquellos que creen que la influencia de los grandes datos en el comercio ya ha pasado, las oportunidades de crecimiento y avance que tiene todavía no se han aprovechado plenamente.

Lo que depara el futuro para Big Data

La buena noticia es que Hadoop y MapReduce han inspirado muchas otras herramientas de administración de datos. Muchas compañías nuevas están creando plataformas de datos extensas que se ejecutan en Hadoop, pero ofrecen una amplia gama de funciones analíticas y una integración más fácil del sistema. Parece que las corporaciones han invertido una gran cantidad de recursos para abordar los problemas de datos y el éxito financiero de las empresas de datos ha sido prueba de ello. En 2010, las empresas de datos realizaron un estimado de $ 3.2 mil millones en ventas minoristas. Muchos expertos han estimado que este número crecerá a la friolera de $ 17 mil millones solo para el año 2015. Este es un hecho que no se ha perdido en algunas de las compañías tecnológicas más grandes. Tanto IBM como Oracle han gastado miles de millones en los últimos meses para adquirir firmas de datos. Muchas otras empresas harán movimientos similares en los próximos años a medida que continúen compitiendo por una cuota de mercado competitiva.

La frontera de Big Data

La cantidad de datos que se recopilan continúa creciendo exponencialmente, lo que ha preocupado a algunos y a otros entusiasmado. Lo bueno es que los seres humanos continuarán siendo más productivos y adaptables a medida que aprendemos cosas nuevas sobre nuestro mundo a través del análisis de datos. La desventaja es que hay una cantidad tan grande de datos que muchos temen que no podamos almacenarlos adecuadamente, y mucho menos administrarlos adecuadamente para que puedan ser utilizados por todos los que los necesitan.

Dicho esto, los avances en big data pueden proporcionar oportunidades sin precedentes para soluciones a problemas urgentes relacionados con datos. Por ejemplo, los expertos han sugerido que si los grandes datos se implementaran adecuadamente con énfasis en la eficiencia y la calidad, tendrían el potencial de ahorrar alrededor de $ 300 mil millones por año solo en gastos de atención médica; los minoristas podrían mejorar sus márgenes operativos, el sector público podría proporcionar mejores servicios y las grandes empresas ahorrarían miles de millones. Entonces, parece que resolver nuestros problemas de datos no solo es necesario en las salas de juntas de la compañía, sino en todas partes. Lo que dice cosas buenas sobre el futuro del big data, y tal vez el nuestro también.