Q:
¿Qué circunstancias llevaron al surgimiento del ecosistema de Big Data?
UN:Hay muchos factores que contribuyeron a la aparición del ecosistema de big data de hoy, pero existe un consenso general de que los big data surgieron debido a una gama de diseños de hardware y software que simplemente permitieron la existencia de big data.
| Seminario web: Big Iron, Meet Big Data: liberación de datos de mainframe con Hadoop y Spark Registrarse aquí |
Una definición convencional de big data es la siguiente: conjuntos de datos que son lo suficientemente grandes y complejos como para desafiar la administración iterativa fácil o la administración manual. Los grandes conjuntos de datos a menudo se identifican como conjuntos de datos que no pueden caber en una red de base de datos simple, porque su análisis requiere demasiado trabajo por parte de los servidores que manejan los datos.
Con eso en mente, una parte importante de lo que creó Big Data es la idea que conocemos como la Ley de Moore, o la duplicación de los transistores en un circuito cada dos años, creando dispositivos de almacenamiento de datos y hardware cada vez más pequeños (así como microprocesadores más potentes) . En conjunción con la Ley de Moore, y probablemente debido a ello, la capacidad informática de los sistemas de software accesibles siguió aumentando, hasta el punto en que incluso las computadoras personales podían manejar cantidades mucho mayores de datos, y los sistemas empresariales y de vanguardia comenzaron a manejar tamaños de datos. inconcebible solo varios años antes. Los sistemas personales pasaron de kilobytes a megabytes, y luego a gigabytes, en un proceso transparente para los consumidores. Los sistemas de vanguardia se movieron de gigabytes a terabytes y petabytes, y en órdenes de magnitud como los zetabytes, en formas que eran mucho menos transparentes para el ciudadano promedio.
Otro avance para acomodar Big Data fueron los cambios en la forma en que los manejadores procesaron los conjuntos de datos. En lugar de un procesamiento lineal a través de un diseño de base de datos relacional convencional, los controladores comenzaron a usar herramientas como Apache Hadoop y piezas de administración de hardware relacionadas para eliminar los cuellos de botella en los procesos de datos.
El resultado es el mundo de big data en el que vivimos, donde los conjuntos de datos masivos se almacenan y mantienen en centros de datos, y cada vez más acceden a ellos mediante una amplia gama de tecnologías para una amplia gama de usos. Desde el comercio hasta la ecología, desde la planificación pública hasta la medicina, los grandes datos son cada vez más accesibles. Mientras tanto, las agencias gubernamentales y otras organizaciones más grandes todavía están empujando los límites de los grandes tamaños de datos e implementando soluciones aún más avanzadas.
