Por el personal de Techopedia, 11 de mayo de 2016
Para llevar: la presentadora Rebecca Jozwiak discute los avances en arquitectura y almacenamiento de bases de datos con Dez Blanchfield, Robin Bloor y Brian Bulkowski.
Actualmente no has iniciado sesión. Inicia sesión o regístrate para ver el video.
Rebecca Jozwiak: Señoras y señores, hola y bienvenidos a Hot Technologies de 2016. Hoy estamos, “Exponiendo la diferenciación: llega una nueva era de infraestructura escalable”. Hoy estoy interviniendo para Eric Kavanagh. Soy Rebecca Jozwiak, tu humilde anfitrión del grupo de la junta mientras Eric está en Jamaica. Bien por él.
Entonces, como lo ha sido durante décadas, este año es caluroso, aunque podría decirse que la tecnología se está moviendo a un ritmo que supera la ley de Moore, y ¿qué están haciendo las organizaciones para mantenerse al día? Están buscando lo que sea rápido, y la escala, diría yo, es probablemente una de las cosas más importantes cuando pensamos en las bases de datos. Y, por supuesto, tenemos las opciones para la relación habitual, ahora tenemos nuestro NoSQL, tenemos nuestro almacén de columnas, tenemos nuestras bases de datos de gráficos, nuestras bases de datos RDF, pero realmente, lo que buscan las empresas es la escala, el paralelismo y la rapidez. .
Ahora, las arquitecturas tradicionales se basaban en ese modelo relacional. Pero si nos fijamos en la mayoría de los negocios web que han surgido en los últimos tres, cinco, diez años, esos no son los modelos que están utilizando para su infraestructura. Están usando una arquitectura diferente, paralela, están escalando y son rápidos, y eso es a lo que muchas personas recurren hoy en día.
Nuestra alineación, tenemos a Dez Blanchfield, él es un científico del Grupo Bloor. Tenemos al Doctor Robin Bloor, nuestro analista jefe en el Grupo Bloor, y tenemos a Brian Bulkowski, CTO y fundador de Aerospike. Entonces, chicos con eso, se lo voy a pasar a Dez.
Dez Blanchfield: Gracias y gracias por invitarme. Voy a tratar de establecer la escena de cómo llegamos rápidamente a donde estamos, y vamos a sumergirnos en muchos más detalles técnicos a medida que avanzamos en los temas de hoy. Solo voy a obtener el control de la pantalla aquí.
Tan grande, mejor y más rápido. Cuando pienso en dónde estamos, la imagen que me viene a la mente personalmente es esta misma imagen que tengo en mi diapositiva del título, que es la expansión del universo. La tecnología se ha desarrollado y crecido durante décadas, de hecho, desde finales de los años cincuenta, cuando el mainframe se convirtió en algo real. La tecnología ha seguido creciendo en muchos casos en una curva peor o mayor que la lineal, dependiendo de la parte de la curva en la que se encuentre, en lo que respecta al software o hardware.
La escala se ha vuelto más y más grande, y más y más rápido, en lo que estamos tratando de entregar, y cada vez más pequeño a nivel de fabricación y semiconductores. Y en el medio hay software y las aplicaciones y los sistemas que sustentan ese software, y tienden a volverse cada vez más pequeños, y hemos visto cosas como aplicaciones en contenedores y micro servidores, se ha convertido en algo nuevo. Lo hicimos en el pasado, décadas antes, pero como resultado de ir más y más pequeños allí, nos estamos volviendo más y más grandes a la escala de la cual ahora podemos ejecutar cosas, como aplicaciones y bases de datos particulares, y la lógica de esas bases de datos
Tengo esta vista en la que hemos escalado muy horizontalmente, esencialmente en el eje X; Hemos escalado verticalmente en el eje Y. Ahora estamos en el punto en el que necesitamos ir a un lugar diferente, y en mi opinión eso se concibe mentalmente como un eje Z, y es que tenemos que profundizar en la tecnología y ver cómo podemos hacerlo cosas diferentes a lo que hemos hecho hasta ahora, para obtener esa pieza adicional de velocidad. Así que visualizo toda esta expansión del universo, donde hemos tenido una explosión, y existen algunas tecnologías, y este mejor crecimiento lineal y demanda. Hemos tenido que encontrar diferentes formas de obtener ese resultado más grande, mejor y más rápido.
Solo para cubrir rápidamente dónde estamos ahora en un par de entornos de hardware. Hemos visto que la caída de los costos de un gigabyte de espacio en disco produce un par de transiciones y tecnología bastante grandes, y enfoques para el problema de escala más grande, mejor y más rápido. Estos son dos gráficos separados que cubren aproximadamente una década cada uno, un poco más de una década cada uno de los precios decrecientes de un gigabyte de espacio en el disco duro.
Es una curva J clásica o un palo de hockey, como a menudo nos referimos a ellos, en el que hace un tiempo usted podía gastar literalmente cientos de miles de dólares para comprar un gigabyte de espacio en disco, no hace apenas dos décadas, mientras que hoy se han convertido en dólares y eventualmente estoy seguro de que terminará, lo que llamamos la carrera a cero, se convertirá en centavos. Eso provocó un cambio interesante en el tipo de cosas que las empresas podrían hacer. Y me refiero a eso como una interrupción a través de datos o big data en particular, y con eso, lo que quiero decir es que vimos tecnologías, como cómo convertirnos en algo en lo que podríamos escalar muy horizontalmente en el almacenamiento, y el tipo de cómputo que puede aplicarse a ese almacenamiento, y cómo abre una tecnología interesante porque nos permite hacer un almacenamiento paralelo redundante muy grande en el nivel más rápido, y las partes de Hadoop en sí mismas, pudiendo copiar datos en un formato de escritura una vez leída muchas veces, y simplemente escale la cosa en un grado casi lineal.
Y es que todas las compañías como esta se vuelven fieles a la interrupción utilizando big data. Tenemos compañías como Uber, que son la compañía de taxis más grande del mundo. En realidad no poseen ningún taxi, y aquí hay una larga lista. Airbnb es el mayor proveedor de alojamiento, en realidad no tiene bienes inmuebles. Uno de mis favoritos es Facebook, por ejemplo en esta lista, donde en realidad no crean el contenido, nosotros lo creamos para ellos, pero en realidad son el mayor propietario de medios en el planeta. Tenemos otros interesantes como los bancos de más rápido crecimiento, en realidad no tenemos dinero. Estas son plataformas y bancos de préstamos de igual a igual, y hay una en Australia en particular que está creciendo en fama aquí llamada SocietyOne. Y algunos de los principales bancos que tienen que tener efectivo están invirtiendo en ese banco particular de igual a igual. Y revisamos esta lista incluso hasta Netflix; en realidad no poseen cines y, sin embargo, son efectivamente la sala de cine más grande del planeta.
Así que llegaron a donde estaban, en mi opinión, a través de la aplicación de tecnologías inteligentes a nivel de datos, porque podríamos hacer un almacenamiento más grande y más amplio a costos más bajos debido a la caída del precio de un gigabyte de espacio en el disco duro, y pudimos aplicar un cálculo inteligente y distribuir un modelo informático sobre eso. Estas compañías tenían la capacidad de crear una ventaja competitiva e interrumpir como resultado de la caída de los costos de espacio en disco.
Hemos visto que sucede algo similar en el costo de la memoria. Hace un par de décadas, si tenía seis millones de dólares por ahí, podría comprar un gigabyte de RAM, y hemos tenido una curva J muy similar o un palo de hockey, que tendrá lugar en la reducción de los costos o la caída del precio de RAM. Y eso provocó algunas cosas interesantes, y en mi opinión, una de las mayores interrupciones en ese espacio es la cantidad de memoria que se puede integrar en dispositivos, como dispositivos móviles, como teléfonos y tabletas, e incluso computadoras portátiles. Computadoras en estos días, la cantidad de memoria que entra en una computadora portátil promedio es bastante ridícula en algunos casos. En algunos casos, mi computadora portátil actual tiene más memoria que algunos de los servidores que solían usar no hace mucho tiempo.
Esto ha provocado un cambio significativo por derecho propio, de la misma manera que una memoria RAM tiene en mi mente, nos permitió escalar y escalar rápidamente. Y ahora hemos tenido el surgimiento de una tecnología que llamamos flash, y esta es una tecnología que originalmente se deriva de algo que se encuentra en el hardware en forma de EEPROM, un pequeño chip diseñado para poder estar disponible, y escribir a, y luego, justo cuando se corta la energía, mantendrá lo que haya escrito en ese chip como almacenamiento persistente. Era lento, era torpe y en aquellos días, creo que fue alrededor de 1980-1981, se convirtió en algo. Para 1984, Toshiba, quien creo que inventó la tecnología, la convirtió en algo comercial que podríamos usar.
Pero en poco tiempo, las personas descubrieron que en realidad podían tomar una combinación de los componentes que se usaron para crear este concepto de EEPROM, una memoria de solo lectura, una vez que se borró y se escribió en ella, y realmente pudieron escribirle. regularmente, y úselo un poco más como espacio en disco y un poco más como RAM. Con el tiempo, se desarrolló. Ahora, esta tecnología de almacenamiento flash ha sido una fusión entre el almacenamiento en disco tradicional, ya sea un disco giratorio o, en algunos casos, un disco híbrido de memoria y RAM. Y la clave es el sistema intermedio porque puedes leerlo y escribirle, y luego apagarlo, y retendrá lo que le has escrito. Entonces, un espacio en el disco, obviamente lo escribes, apagas la alimentación, y el huso giratorio y el muy modificado, a falta de una mejor descripción, mantienen los ceros y los que has escrito.
En el espacio de memoria de acceso aleatorio, escribe algo en la memoria RAM, apaga la computadora y todo se borra porque no hay más electrones para mantenerla cargada y contener la información que le escribió. Además, está en el medio y es extremadamente rápido, más rápido que el disco, un poco más lento que la RAM. Pero puede escribirle y leerlo, y cuando apaga el teléfono, persistirá. Esto ha traído consigo algunas tecnologías increíbles y, en particular, hemos desarrollado dispositivos móviles y computadoras portátiles que son realmente, muy rápidos y capaces de hacer muchas cosas, y ahora se trasladó al espacio de infraestructura en torno al almacenamiento y la computación, y eso ha resultado significativo cambios en lo que podemos ofrecer a escala. Aquí es donde creo que el eje Z en mi mente está surgiendo ahora.
Es casi justo a tiempo de muchas maneras, porque ahora hemos visto una interrupción a través de lo que yo llamo demanda, y es que los consumidores lo han hecho, independientemente de lo que sucede en la infraestructura y el espacio tecnológico, y la capacidad de conducir más rápido. y un cómputo más rápido y un rendimiento a nivel de infraestructura, los consumidores exigen esta interrupción en forma de lo que se conoce ahora, la experiencia de las celebridades. Todos quieren que cada sistema, cada aplicación, cada sitio web sepan quiénes son y qué les gusta, y poder brindarles una experiencia personalizada de uno a uno. Ya no es suficiente ir a un sitio web donde compro entradas para el cine. Quiero que sepa lo que he comprado antes, por qué lo compré, y potencialmente lo que la gente como yo compró y recomienda cosas.
Invariablemente, estamos viendo a lo que me refiero es un orden social, y es que quiero la experiencia de las celebridades, pero también quiero socializar esa idea, quiero compartirla con todos mis amigos y decirles lo que estoy haciendo, y también quiero saber qué están haciendo mis amigos. Y esto es el resultado de una demanda explosiva de cómputo y almacenamiento adicional, y un cambio rápido de las cosas. Hemos visto la generación de Fitbit, lo que yo llamo seguimiento siempre activo. Todo lo que hago es rastreado, registrado y capturado en alguna parte. Hemos visto todo en tiempo real: banca, licitación, motores de recomendación, tener que ser capaz de hacer frente a las cosas en tiempo real que personalmente estoy haciendo como consumidor.
Y luego vemos un gran impacto, como los riesgos de seguridad en torno a la ciberseguridad. Solía ser que teníamos piratas informáticos individuales, luego teníamos pandillas criminales que se aplicaban a él, ahora tenemos naciones enteras que van a la guerra por internet, lo cual es algo real y realmente sucede. Presta atención a eso, siéntate y échale un vistazo, porque hay un impacto real en eso, y algunas de nuestras bromas previas al show fueron sobre discutir el riesgo de tener tu propia computadora, o al menos tu red, penetrada.
Hemos visto este concepto de extracción de entidades. La extracción de entidades es cuando tenemos que encontrar cosas de interés dentro de conjuntos de datos muy grandes y particularmente en torno al fraude, la actividad ilegal y de tipo pirata informático. Pero la mayoría de las veces, veremos que la extracción de entidades se está convirtiendo en un punto de enfoque para cosas buenas y cosas que son de valor para nosotros, en lugar de buscar cosas que nos están atacando.
También hemos visto una explosión, lo que se conoce como datos geoespaciales. Estos son datos que realmente saben de dónde se originaron o de dónde provienen otros datos como este. Puedes imaginar que estás parado en la calle y quieres encontrar la estación de estacionamiento más cercana, o el restaurante más cercano, las aplicaciones que pueden aplicar datos y datos geoespaciales, los datos que saben dónde está en el espacio, son muy importantes porque necesita saber dónde están otros objetos y entidades, y hacerlo rápidamente.
Hemos visto dispositivos móviles conectados permanentemente. Incluso cuando nos vamos a dormir por la noche, nuestros teléfonos móviles siguen funcionando, actualizando nuestros correos electrónicos, revisando nuestros calendarios, observando el clima y averiguando si lo que nos gustaría para el desayuno estará disponible. Hay mucho ruido allí, y eso ha creado un impacto masivo en lo que necesitamos hacer en la parte de atrás y en qué tan rápido lo hacemos.
En general, la magnitud y el impacto de lo que se conoce como Internet de las cosas, o la mayoría de las veces, la conectividad de máquina a máquina, donde los dispositivos están hablando con los dispositivos y eso va hasta los motores atados al lado de los aviones que le dicen al propio avión, o al sistema de gestión del avión, que una relación con el motor número cuatro está experimentando un desgaste y calor excesivos, y debe reemplazarse cuando aterrizamos, y luego se comunica con otra máquina, por lo que debe colocar un orden, y mágicamente un ingeniero aparece en vuelo en el aeropuerto y está preparado para reemplazarlo durante el abastecimiento de combustible.
Y la escala que es tan grande y tan grande que hemos tenido que ir a lo que me refiero, a través del acceso para hacer frente a ella. Porque un mundo nuevo, y bienvenidos al mundo nuevo, un mundo nuevo de todo lo que usamos conectado; Érase una vez satélites y dispositivos de red, ahora son dispositivos móviles y nuestras computadoras portátiles y tabletas y teléfonos, e incluso mi nuevo Audi tiene un letrero incorporado, e informa constantemente sobre su propia salud, pero también se actualiza a sí mismo, y sabe dónde está, y qué mapas son aplicables, e incluso me dice cuándo tomar una ruta diferente si hay tráfico en el camino por delante.
Todo lo que estamos construyendo ahora, todo lo que estamos hablando ahora, está diseñado para conectarse y conectarse a otras cosas, no solo de mí al sistema, sino de un sistema a otro, y para poder hacer frente a eso. está teniendo que aplicar un pensamiento muy diferente en la capa de infraestructura, tanto en el hardware como en el software, y particularmente en las capas de base de datos que los sistemas necesitan para respaldar esto, y en muchos sentidos la base de datos se ha convertido en el motor, y las aplicaciones son realmente solo pequeños robots que hacen cosas.
Voy a terminar rápidamente aquí con esta visión ligeramente humorística sobre hacia dónde vamos con estas cosas, y a lo que me refiero como "IoT con solo presionar un botón". Se ha creado un nuevo dispositivo llamado Amazon Dash Button, y este es un pequeño gadget del tamaño de un pulgar. De hecho, en muchos sentidos, es lo mismo que mi memoria USB. Cuando compra esto, cuesta aproximadamente $ 4.99 en línea desde Amazon, se lo envían, lo configura con su teléfono móvil y literalmente lo conecta a uno de sus dispositivos, como un refrigerador o una lavadora o lo que sea. En el ejemplo de su lavadora, si finalmente se queda sin detergente, puede presionar ese botón y marcará a casa y automáticamente ordenará más para usted, y mágicamente se le enviarán más a través de nuestros buenos amigos en Amazon.
Para mí, esto me asusta, porque verá una explosión de varias cosas que están conectadas en la red e intentan crear conectividad y generar demanda. Si te puedes imaginar, una o dos de estas cosas tal vez no sean tan aterradoras, pero la última vez que miré, había más de 110 de estas cosas marcadas, por lo que casi todas las marcas en el planeta intentarán obtener su propio empujoncito. botón IoT, que te vas a casa y presionas un botón y dice: "Pídeme una pizza". Presionas otro botón y ordena un almuerzo pre-construido para tus hijos para la escuela mañana.
Eso está impulsando una demanda tan enorme de transformación en el back-end, a nivel de aplicación, en particular a nivel de base de datos, que creo que acabamos de ver la punta del iceberg del tipo de transformación de rendimiento que necesitamos ver . Y con eso, se lo entregaré al Doctor Robin Bloor y también obtendré sus ideas sobre dónde estamos.
Rebecca Jozwiak: Ok Robin, te he pasado la pelota.
Robin Bloor: ¿No es bueno? Bien, aquí vamos, soy yo. Vi la presentación de Dez antes de llegar a esta, así que diría cosas que son complementarias en lugar de repetir algunas de las cosas que dijo Dez. Pensé que hablaría sobre la evolución de la base de datos en términos de lo que realmente sucedió con la arquitectura, y así sucesivamente, de las bases de datos desde una perspectiva histórica.
El problema fundamental que tiene cualquier proveedor de bases de datos es mantener una arquitectura flexible que se escala y mantiene el ritmo de la evolución del hardware. Hablaré de esto, pero cuando miras hacia atrás y ves la forma en que solían construirse las bases de datos, y la forma en que están construidas ahora, en realidad son significativamente diferentes de lo que yo llamaría el nivel de diseño arquitectónico . Vale la pena revisar por qué es así, o al menos eso creo. Los factores de hardware, y Dez nos ha dado un resumen particularmente bueno de las capas inferiores en términos de memoria y disco. Lo que tenemos ahora, y este es el futuro, Intel es el próximo, CP, que tendrá un FPGA. Lo que la gente va a hacer con eso, no tengo ni idea. AMD está fusionando CPU y GPU y ¿qué diferencia va a hacer eso? Estos son los tipos de cambios que realmente marcarán la diferencia en la base de datos, y sospecho que Aerospike, entre otros, porque Aerospike está impulsado por el rendimiento, probablemente ya esté analizando eso y averiguando dónde cree que realmente irá. con la forma en que funciona el producto.
Tenemos un sistema en un chip que aún no ha despegado. Los SSD que conocemos, pero el punto a destacar es que en realidad están aumentando en velocidad, aproximadamente la tasa de la ley de Moore, un factor de 10 cada seis años. Pero Intel está a punto de lanzar el punto de cruce 3D, que afirma ser capaz de ir más de cien veces más rápido que los SSD, de hecho, cae en la mezcla, y eso va a cambiar la velocidad a la que productos como Aerospike realmente pueden Vamos.
Luego tenemos las arquitecturas de hardware paralelas, en otras palabras, la forma en que hemos construido el hardware en el sentido de que, originalmente, era solo una CPU ubicada sobre la memoria, que se sentaba sobre el disco, pero se ha vuelto mucho más complicado que eso. La idea de un sistema en un chip es que en realidad se puede tener un paralelismo de chip a chip y hacer que todo funcione a una velocidad extraordinaria, y no tenemos idea exactamente cuál de estos productos realmente dominará.
Eso es solo una mirada al futuro, pero a nivel de hardware el rendimiento se está acelerando y los costos continúan cayendo, más o menos en la línea que Dez estaba describiendo. Sus CPU no necesariamente se vuelven más baratas, solo se vuelven más rápidas, etc.
Desde la perspectiva del negocio, en algunas situaciones, y estas son situaciones de mercado, ser el primero es donde está el valor del negocio. Si particularmente, si está absolutamente convencido de que una acción en particular va a caer en precio, la primera persona que recibe la orden de venta obtiene el mejor precio. Es realmente así de simple. Por lo tanto, hay una carrera tecnológica que continúa con el comercio automatizado en los bancos para tratar de ganar estas situaciones. ¿Qué paso después de eso? ¿Qué sucede después de que los bancos hayan hecho lo suyo con todo eso? De repente, comienza a ver que otras áreas se infectan con el mismo tipo de necesidades de velocidad.
Realmente lo que estaba sucediendo es que los seres humanos estaban siendo eliminados de la ecuación, y eso sucedió con la publicidad en Internet muy rápidamente. Pero la cuestión era que no es la transacción específica, la ejecución de métodos, este es un proceso comercial completo, es el hecho de que se acaba de descartar una página web y es necesario tomar una decisión que puede ser una decisión bastante complicada, en cuanto a qué anuncio poner realmente en esa página web, deducir de quien sea el usuario del navegador es lo que sería el anuncio más apropiado para poner eso, y así sucesivamente. Se ha convertido en algo muy complejo, y lo mencionaré nuevamente.
Pero el punto es que el rendimiento y la escalabilidad del proceso de negocio no es el mismo problema que el rendimiento y la escalabilidad de una capacidad de consulta, y esto es algo que sé muy bien, debido a una sala de información reciente que hicimos con Aerospike que ellos También eres consciente de. Otra cosa, cuando realmente está trabajando a estas velocidades, las propiedades de los activos son importantes para una transacción, cualquier procesamiento de eventos. Realmente, realmente importan. Por lo tanto, una gran cantidad de lo que están haciendo algunas bases de datos, que está perdiendo una o dos letras del activo, puede funcionar razonablemente bien en el contexto, esto funcionará bien en el contexto del que estamos hablando. No es realmente aceptable, para ser honesto.
Desde una perspectiva tecnológica, en realidad estás viendo: sé que hay dos tipos de apalancamiento, para crear el tipo de arquitecturas que realmente se requieren para dar el tipo de velocidades que pueden hacer, como Aerospike, pueden hacer un millón de transacciones por segundo. En realidad, debe ser muy preciso en términos de desarrollo de software. No puedes simplemente hackear. Debe preocuparse por las longitudes de las rutas de código. Necesita hacer un uso excelente en la memoria, y en realidad está optimizando transacciones completas. Necesita paralelismo inteligente y también necesita paralelismo a prueba de fallas. Necesita escalar, en lugar de escalar, porque tan pronto como involucre a la red en algo, se convertirá en el puntero más probable que alcanzará la latencia, y comenzará a hacer las transacciones demasiado lentas.
Debe obtener la mayor cantidad posible en cualquier red conocida antes de escalar, y realmente no desea escalar rápidamente, realmente no quiere muchos procesos. Desea una red que no esté siendo utilizada por nadie más. Y quieres tener una red increíblemente rápida.
El almacenamiento SSD acelerado es algo, de hecho creo que la mayor parte de esto se aplica a lo que hace Aerospike. Una de las cosas interesantes es que es una base de datos NoSQL. Se creía, no sé, hace varios años, se creía que la base de datos relacional era la única base de datos y dominaba todo, y solo en estas pequeñas y raras situaciones en las que no necesitabas para ir relacional. Está un poco girado ahora. Son las bases de datos rápidas las que se encuentran en esas bases de datos SQL, y una de las razones para eso, la razón principal de eso, es que evitan unir datos, almacenan datos más o menos en forma de objeto. Cuando haya terminado con un objeto, simplemente lo almacena y luego retira todo el objeto, no está uniendo las cosas para procesarlas realmente. De esto se trata la velocidad. Este tipo de técnicas que generan velocidad dentro del contexto de la base de datos.
Este es el rastro de lágrimas, este es, lo que sucedió con la base de datos. La historia o la narrativa de las bases de datos relacionales era el final de una base de datos, en realidad no era cierto. Incluso cuando comenzaron a dominar, todavía era necesario. Las bases de datos de objetos hicieron las transacciones pasadas en esos días, porque las bases de datos relacionales en realidad no podían hacerlas, y luego resultó que las bases de datos relacionales que usaban almacenes de filas, tampoco podían hacer consultas rápidas, necesitabas almacenes de columnas. Y luego descubrimos que si realmente deseaba hacer consultas gráficas sobre los datos, ni un almacén de columnas ni una base de datos relacional sería bueno, y en realidad necesitaba tener una base de datos específica para gráficos creada para usted. Luego llegaron las bases de datos RDF, y tan pronto como realmente comenzó a considerar el significado de la semántica, obtuvimos las bases de datos NoSQL, muy, muy específicamente para la velocidad. Llamarlos NoSQL es casi como si estuvieras marcando todas estas bases de datos como si fueran las mismas, en realidad son radicalmente diferentes en lo que hay debajo. La única razón por la que llevan el nombre NoSQL es que no les importa un bledo SQL porque es demasiado costoso. Las latencias de transacción que necesitan.
El IoT, que pensé que terminaría en el mismo punto en que Dez lo terminó, no ha terminado, toda esta situación en términos de velocidad y requisitos de latencia, no termina hasta que la mujer gorda comience a distribuir estos datos, y aún no ha comenzado realmente. Muchos de esos datos van a querer tener las latencias que he estado indicando, así que creo que eso es todo lo que tengo que decir. Vamos a pasarlo a Aerospike y Brian Bulkowski.
Brian Bulkowski: Hola, muchas gracias por unirme al Grupo Bloor y a mí por esta presentación de hoy. Al pensar en lo que Dez y Robin estaban hablando, me gustaría contarles un poco sobre el camino que Aerospike ha tomado al proporcionar nueva tecnología de bases de datos y tecnología de bases de datos NoSQL a varias industrias. Ha sido un gran camino. Comenzamos Aerospike en 2008 viendo muchas de las tendencias que Dez y Robin han mencionado. Específicamente, las bases de datos en memoria pueden aprovechar Flash, así como el tipo de sistemas en la nube de escalamiento horizontal y los tipos de escala requeridos para la personalización, el análisis de comportamiento y el tipo de experiencias VIP de celebridades que se discutieron.
Cuando abordamos el problema de una base de datos que era una base de datos operativa front-end que era capaz de proporcionar los fundamentos a las aplicaciones que podrían escribirse para resolverlos, comenzamos con el problema de cómo podríamos construir esencialmente una tabla hash distribuida, memoria tabla de hash distribuida que fue asombrosamente rápida y capaz de cosas como millones de transacciones por segundo, pero a un precio razonable. Cuando terminamos nuestro prototipo, nos dimos cuenta de que tendríamos que averiguar quién podría necesitar este tipo de velocidad. Al ser una empresa de Silicon Valley, rápidamente descubrimos que era realmente la industria de la publicidad la que era capaz de consumir este tipo de información y estaba interesada en ella, por lo que me gustaría pasar un segundo hablando sobre las ofertas en tiempo real y cómo esto El mercado funciona.
Robin mencionó cómo funciona el comercio financiero, que es la primera transacción a menudo es la transacción ganadora, y esencialmente hay un tiempo para el mercado de latencia y un valor para la latencia. La industria de la publicidad es ligeramente diferente, de una manera interesante, porque el objetivo de la publicidad es un particular, lo que se llama impresión, la capacidad de entregar un anuncio, es una subasta y esa subasta se ejecuta entre diez milisegundos y cincuenta milisegundos. El nombre del juego, y a menudo hay cientos de empresas que ahora ofertan en tiempo real por cada anuncio que se coloca en Internet, es obtener la mayor cantidad de datos y llevar los mejores algoritmos dentro de esos diez a cincuenta milisegundos durante el mayor cantidad de datos
Este cambio y cambio estaba ocurriendo en la industria de la publicidad, en cada uno de esos pequeños milisegundos, tiene una complicación limitada en el tiempo con los mejores algoritmos sobre la mayor cantidad de datos, y para lograrlo, está reuniendo muchas piezas pequeñas de datos. La información reciente de la dirección IP, la información reciente sobre una categoría de dispositivo particular, la información reciente sobre el comportamiento del sitio web, los términos de búsqueda recientes, entrarían en la salsa secreta de los algoritmos de una empresa en particular para determinar un precio y una oferta.
Este ha sido un mercado fascinante del que formar parte. Primero hicimos nuestro primer despliegue en Aerospike en 2010 con algunas de las primeras compañías trabajando seriamente dentro de la economía de licitación en tiempo real, y luego logramos, siendo básicamente ese almacén front-end de datos de comportamiento, para la mayoría de las compañías en ese espacio. Lo que hemos encontrado desde entonces, y es una arquitectura particular que detallaré a lo largo de esta presentación, es que todo sucedió en 2010, 2011, 2013 y continúa evolucionando. La publicidad es un mercado muy dinámico.
Pero ese tipo de experiencia VIP se puede considerar como colocar el anuncio correcto, no colocar un anuncio para, digamos, productos para niños, porque no tengo hijos, así que no tendré un anuncio efectivo si es colocado en eso, pero si se trata de autos rápidos, ese es el tipo de anuncio para Brian. Ese es realmente el tipo de experiencia VIP en las ofertas, ya sea con descuento o no, si se encuentra en un sitio minorista, incluso en la detección de fraudes. ¿Es este el patrón normal de una persona en particular o una tarjeta de crédito en particular? Toda esa forma de tecnología de análisis en tiempo real, de predicción de comportamiento, de análisis predictivo, ahora se está filtrando de la industria de la publicidad, que lo ha estado haciendo por diversión y ganancias durante muchos años, y realmente está llegando al comercio minorista. y banca, y detección de fraude, etc., a través de una arquitectura particular. Así que Aerospike ha tenido el privilegio de ser parte de varios de esos casos.
La arquitectura que vemos que funciona, y que es práctica para hacer esto, es una en la que, en lugar de crear un conjunto de consultas desde un servidor de aplicaciones, en lugar de mover más de sus cálculos al servidor de aplicaciones en sí, y luego usar una base de datos como esencialmente un almacenamiento motor para el tipo de objetos de los que Robin estaba hablando. En este caso, estas arquitecturas, en primer lugar, no confundan esto con sus análisis reales aquí. Puede ver en el lado derecho de esta diapositiva que todavía hay un análisis aquí para generar ideas. Estos son trabajos que a menudo funcionan sobre petabytes, decenas de petabytes de datos, incluso exabytes en los casos de algunos de nuestros grandes clientes, que utilizan una variedad de tecnologías. Debe tener un equipo de Big Data, un equipo de análisis, un equipo cuantitativo allí que descubra qué, por ejemplo, las coordenadas geoespaciales importan, qué modelos funcionan en términos de encontrar esas relaciones y crear la experiencia VIP. Ese es un problema en sí mismo y no uno en el que Aerospike haya participado directamente, y hay un montón de gran tecnología cuando se trata con ese tipo de sistema.
Lo que nos entusiasma y sobre lo que trabajamos con la industria es que, una vez que tenga esos conocimientos, ¿cómo se involucra en el tipo de transacción máquina a máquina o rápida de máquina a persona, donde toma esos conocimientos y realiza ¿Son reales para cada persona, momento a momento? La arquitectura que hemos visto usando esa es una en la que hay un servidor de aplicaciones que está escrito y está haciendo todas esas matemáticas y mirando a través de los modelos que ha creado, y observando el comportamiento reciente y haciéndolo esencialmente sobre un paradigma clave o al menos un sistema de consulta muy ligero.
Cuando se trata de los tipos de tipos de datos de los que estamos hablando, el tipo de flujos de los que estamos hablando, con millones de escrituras por segundo, millones de lecturas por segundo, millones y cientos y miles de decisiones por segundo, construir índices complejos, índices multidimensionales, simplemente no funciona muy bien, no es escalable. La forma de lograr esta forma de escala es entablar mucho paralelismo. Hablaremos un poco sobre cómo lo hacemos más tarde. Pero parte de eso es un servidor de aplicaciones sin estado escrito en su propio idioma.
Lo que a menudo vemos es un proyecto en particular que supone un nuevo marco de aplicación basado en las personas que trabajan allí, la tecnología que están utilizando y el problema al que se están acercando. Hemos visto personas que usan Python, mucha gente usa Java, todavía vemos programadores en C, porque mucho de esto sigue siendo de alto rendimiento, tal vez incluso usando cosas como las viejas bibliotecas de MATLAB. Y necesitan tocar miles y miles de puntos de datos por segundo para tomar una decisión efectiva.
Una pregunta que he hecho a veces es: "Bueno, Brian, si eres capaz de realizar millones de transacciones por segundo, ¿quién lo necesita?" Si nos fijamos, por ejemplo, en el procesamiento de pagos de América del Norte, y Aerospike está involucrado en soluciones que realizan detección de fraudes dentro de ese sistema, y que apoyan a los escritores de aplicaciones que están haciendo cosas muy innovadoras en la detección de fraudes, solo hay unos pocos miles de transacciones de pago por segundo que fluyen incluso a través del procesador de pagos más grande. Y, sin embargo, cuando la primera compañía se acercó a nosotros y dijo que estaban buscando usar NoSQL, y quería ver cómo sería nuestra solución para respaldar su aplicación, dijeron que querían tocar 5, 000 piezas de datos en una ventana de 750 milisegundos. Bueno, ahora de repente tienes unos cientos de transacciones comerciales y unos pocos miles de datos para considerar en cada cálculo, y ahora estás en el área de necesitar millones de transacciones por segundo.
El caso de: dejando a un lado la publicidad por un segundo, el caso de fraude es fascinante porque donde hay dinero, hay fraude y la prevención del fraude en tiempo real, en lugar de intentar analizarlo analíticamente después de que haya ocurrido un fraude, es realmente un es cuestión de poner en línea la mayor cantidad de datos posible, y puedes considerarlo como un reflejo de esa experiencia VIP. ¿Se comporta esta persona de una manera que no suele comportarse? Y así, las posibilidades de que sea un sistema fraudulento, y no realmente esta persona, aumenta. ¿Esta persona generalmente accede a través de un dispositivo o conjunto de dispositivos en particular, con un cierto conjunto de resoluciones de pantalla? ¿Por lo general exhiben un patrón de compra de comportamiento particular? Quizás podamos evitar el fraude de raíz durante el curso de la transacción misma. Eso debería recordarle mucho el tipo de cosas que suceden dentro de una transacción en el sistema de publicidad.
Los tipos de sistemas que resolvemos son aquellos en los que cada procesador de pago individual tiene un equipo de big data, tienen muchos datos históricos, están creando nuevos modelos, no comparten con nosotros en Aerospike todos los modelos, porque Eres realmente una salsa secreta. Si está suscrito a Gartner y escuchó a Gartner hablar sobre la economía del algoritmo, este es un algoritmo y una compañía que lucha cara a cara para reducir el fraude y aumentar la cantidad de transacciones exitosas, porque usted tampoco No quiero bloquear transacciones. Ese es el tipo de proyectos que buscamos en Aerospike en estos niveles de escala.
Otro caso en el que hemos estado trabajando con compañías de servicios financieros es el llamado Sistema de registro intradía. En este caso, lo que está sucediendo es que el tipo de experiencia más rica, incluso en un sistema de comercio minorista, es uno en el que quiero poder ver mi posición particular y quiero hacerlo con extrema precisión. No quiero tener una trampa frente a mi sistema DB2. En cambio, quiero ver los datos exactos, y entre dispositivos móviles, pero también cosas como los recálculos de riesgo, los recálculos de riesgo ahora se deben hacer minuto a minuto, desea poder recalcular el riesgo de todos, así como El riesgo global, el riesgo sistémico en toda la empresa en pocos minutos.
Y de nuevo, es el mismo problema. Cada cuenta individual que sea particular, piense en ella como una búsqueda de valor clave para un objeto en particular, luego esto puede hacerse en paralelo, y lo más importante, este paradigma le permite escribir su código y sus algoritmos en un lenguaje de alto nivel, que es más fácil de depurar y un tiempo de comercialización más rápido. En esta economía de algoritmos, necesito poder poner mis algoritmos en línea ahora. Este es un problema muy diferente para el modelado y la relación comercial, que es en lo que los sistemas relacionales son excelentes. Cuando tiene una tabla de partes, y esas partes están asociadas con pedidos, y esos pedidos están asociados con personas, usted tiene un proceso comercial que puede modelarse estrictamente y probablemente no cambiará durante la vida útil de su negocio. Sin embargo, un nuevo algoritmo para encontrar un nuevo patrón de fraude debe redactarse de manera precisa y rápida, y ponerse en línea, tomando decisiones comerciales en cuestión de días como mínimo, si no más rápido. Una solución NoSQL para este tipo de sistema de registro es realmente un sistema sorprendente para estos tipos, porque les permite ingerir datos muy rápidamente, así como construir nuevos algoritmos, por lo que no solo es una nueva experiencia del cliente para abordar dispositivos móviles, sino que realmente desarrollando una amplia variedad de nuevas aplicaciones.
Lo que vemos a largo plazo en Aerospike es el hecho de que cada tipo de base de datos, cada diseño físico de datos en el disco tiene sus propios componentes, y en Aerospike estamos realmente enfocados en este valor clave o sistema orientado a roles, como dijo Robin, con una alta consistencia transaccional, y realmente permite a las personas como almacenes de columnas y lagos de datos de alto volumen, así como también sistemas transaccionales incondicionales que también han tenido restricciones de informes. Vemos que todos ellos necesitan alimentar una variedad de motores de consulta diferentes. Vemos algunos de los motores de consulta basados en JSON. Vemos cosas como la búsqueda elástica, vemos Spark, todos necesitan diferentes variedades en diferentes momentos de las tiendas de columnas, así como las tiendas de fila, que es donde sobresale Aerospike.
Realmente vemos que estos diferentes tipos y la industria están llegando a un punto en el que elegir la mejor raza de cada uno de estos será una necesidad. Desafortunadamente, debido a la realidad de la analítica a largo plazo y las analíticas de los trabajos por lotes, y las restricciones operativas, probablemente no llegaremos al punto de tener una única talla única para todos, pero llegaremos al punto de poder para elegir claramente entre algunos de los diseños de datos principales.
Hablemos por un minuto sobre la innovación de flash. Todavía recibo la pregunta, aunque, como se comentó anteriormente, flash ha estado con nosotros durante mucho tiempo. Cuando comenzamos Aerospike en 2009 fue cuando, creo que 2009, tal vez sí, 2009 fue cuando Intel lanzó la X25, que fue realmente la primera unidad flash tripulada SATA del mercado masivo, y había una serie de sistemas flash antes de eso., pero realmente ese fue el que irrumpió en la conciencia de mucha tecnología. Fusion-io realmente trajo flash al mercado empresarial más amplio después de eso.
Lo que está sucediendo ahora es el advenimiento de un sistema llamado NVMe. NVMe es un estándar similar a SATA o SAS o incluso SCSI que permite a diferentes proveedores de tarjetas interactuar con los controladores dentro del sistema operativo con un alto nivel de eficiencia. Por lo tanto, está creando un mayor nivel de rendimiento, en primer lugar porque NVMe se basa en PCIE como su transporte subyacente, que es mucho más rápido que SATA, SAS o cualquier otra cosa, pero también permite los mejores conductores.
Por ejemplo, dentro de Linux está este tipo Jens, y Jens es la guía de controladores NVMe, Jens expo, y está haciendo un mejor trabajo que cualquier persona en Intel o Fusion-io podría haber hecho con su controlador individual, con todos sus recursos. Cuando tiene el poder del sistema operativo en sí mismo para poder construir el mejor controlador, estamos viendo algunos niveles realmente sorprendentes de rendimiento. Todo esto respalda la idea de que el flash realmente puede proporcionar mucha de la baja latencia de RAM.
Ahora, Aerospike sigue siendo una gran base de datos de RAM debido a su modelo de clúster, sin embargo, encontramos que una vez que está haciendo un salto de red, que necesita tener almacenamiento escalable, ya está gastando al menos cinco a 50 microsegundos, el 70 microsegundos adicionales de NAND generalmente no son un impedimento, y también podría usar flash, dado que NAND flash, dado que la red ya está involucrada en eso. Muchas personas se preguntan cómo: todo esto suena genial si está comprando su propio hardware, ¿cómo están las nubes públicas? Creo que encontrará en este momento, no importa qué nube pública esté utilizando, esas nubes públicas tienen ofertas flash muy fuertes. Difiere un poco de un proveedor de nube a otro. Amazon tiene sus instancias I2 que han estado fuera durante un año, dos años, que son realmente dispositivos flash de muy alta calidad, y Aerospike tiene el patrón de implementación por encima de ellos.
Me gustaría llamar a Google Compute, Google Compute Engine, Google Cloud específicamente, porque en nuestra experiencia hasta ahora tienen algunos de los dispositivos de mayor rendimiento y algo de la mayor flexibilidad en términos de patrones de implementación. Pero también ve nuevos patrones de implementación como Pivotal, que es una especie de público / privado, por lo que puede hacer aplicaciones Pivotal correctas en ambos lugares que admiten flash y dispositivos de almacenamiento diferentes, así como los patrones de Docker. Entonces, en realidad, este es un punto en la historia en el que Flash no solo está disponible para que usted compre y coloque en sus centros de datos, sino que realmente se haya hundido en todos los proveedores de infraestructura, porque es realmente la mejor manera de obtener sistemas de alto IOPS en Una latencia muy razonable.
Solo un momento sobre Aerospike: Aerospike es una base de datos distribuida en clúster, lo que la hace muy adecuada para implementaciones de estilo en la nube, así como centros de datos. Descubrimos que la flexibilidad de poder agregar más datos y más rendimiento es absolutamente necesaria en este tipo de nuevas aplicaciones netas porque comienzas un proyecto, no sabes si necesitas cincuenta mil transacciones por segundo, cien mil, un millones, dos millones, por lo que desea darse un margen de maniobra para poder agregar servidores. Y, sin embargo, desea escalar para que cada servidor pueda ser rápido por sí mismo. Realmente no desea terminar con quinientos o mil servidores que son servidores de bases de datos que son lentos. Escalar no es el único juego en la ciudad, su escala y escala, como Dez decía antes, hay un nuevo eje Z.
Afortunadamente, eso le dará algunas ideas nuevas sobre cómo la velocidad y la escala están abordando nuevos mercados y tal vez hay proyectos en los que está trabajando en los que podrá considerar construir realmente aplicaciones más ricas y usar un marco de aplicaciones con una clave más valor o base de datos NoSQL debajo de él. En Aerospike ciertamente he visto a muchos de nuestros clientes y a muchos de nuestros usuarios de código abierto tener éxito con ese patrón, y espero que la industria lo adopte en mayor medida.
Rebecca Jozwiak: Muchas gracias Brian, y estoy segura de que Dez y Robin tienen buenas preguntas para ti. ¿Robin?
Dez Blanchfield: Estoy feliz de saltar. Robin, ¿tienes alguna pregunta? De lo contrario, tengo uno rápido que puedo comenzar.
Robin Bloor: Lo siento, estaba mudo. Me zambullí, pero nadie me escuchó. La pregunta se me ocurrió de inmediato, porque este es un conjunto muy sofisticado de capacidades tecnológicas. En términos de los clientes existentes que tiene, ¿cuál es el tipo de escalamiento o tasa de transacción que está experimentando con respecto a algunas de estas aplicaciones publicitarias? ¿Continúa aumentando la tasa de transacción? Y si es así, ¿a qué tipo de velocidad?
Brian Bulkowski: Pregunta interesante, Robin. Cada industria tiene su propia curva en cada empresa. Tomemos la publicidad norteamericana, por ejemplo, en 2012, la publicidad norteamericana se estaba ejecutando probablemente más cerca de 200, 000 anuncios por segundo, en una especie de intradía estándar, no en mi tiempo, y ahora se ha incrementado probablemente a aproximadamente tres a cinco millones de anuncios por segundo. Pero entonces sucedió algo interesante. La industria publicitaria comenzó a abordar algunas inquietudes relacionadas con el fraude, y las partes de la industria que pueden bloquear el fraude vieron caer un poco las tasas de transacción, aproximadamente un factor de dos, en algunos de nuestros clientes más sofisticados que pudieron determinar el fraude. Por supuesto, tuvieron que hacer algunas búsquedas en la base de datos para bloquear el fraude, por lo que al final termina siendo más o menos lo mismo.
Un caso de uso interesante es dentro de las telecomunicaciones, realmente no lo mencioné, las telecomunicaciones aumentaron debido a la facturación basada en cada paquete que pasa a través de la red de telefonía celular. En los viejos tiempos, teníamos registros detallados de llamadas y una vez por minuto, una llamada, lo que sabes, un pequeño ping atravesaría la red y ¿a este tipo todavía le queda un minuto? Ahora tenemos que construir e incluso enrutar en función de cada paquete en Internet. Eso es un perdón dentro de una red móvil, que de repente ahora es de millones de paquetes por segundo y algo que está creciendo una y otra vez. Por lo tanto, un caso es que cada aplicación está generando una pequeña especie de 2X por año. Dentro de algunos clientes, vemos, “Pero espera, tengo una nueva aplicación. Quiero agregar un poco de fraude a mi riesgo. Quiero agregar una experiencia de cliente más profunda a mi fraude y mi riesgo ”. Cada uno de ellos crea una nueva carga en la base de datos subyacente.
Robin Bloor: Sí, quiero decir, creo que eso fue lo que estaba insinuando en la breve presentación que hice, que estos - solíamos pensar que una transacción es, alguien hace algo y tal vez hay una cascada de eventos y todo se graba, y ahora muchas transacciones tienen una inmensa cantidad de búsquedas, y usted dio algunos ejemplos en la presentación. Y, por lo tanto, ya no está ejecutando una transacción, está ejecutando un tipo de aplicación que puede tener muchos, muchos elementos.
La otra pregunta antes de entregarle a Dez, porque obviamente estamos haciendo equipo en esto, la otra pregunta que me gustaría que respondiera si tiene una respuesta razonable, es tanto Dez como espero que Internet de Cosas, o el Internet de todo como se le llama a veces, para crear una cantidad bastante dramática de tráfico transaccional. ¿Puedes hablar con eso? ¿Es esa su experiencia, tiene clientes que acuden a usted con ese tipo de problema en particular, y cuál es su opinión sobre esto en este momento?
Brian Bulkowski: Claro, creo que hay una pequeña confusión, y para decirlo suavemente, sobre Internet de las cosas. Los clientes que veo hasta ahora simplemente están llevando Internet a las cosas que tienen. Piense en esos botones de Amazon, es todo Amazon, esos botones, no puede reutilizarlos y hacer que vayan a Walmart en línea. No es como un navegador que puedes mezclar y combinar todo. Por otro lado, está sucediendo máquina a máquina, y cuando conecta su automóvil Tesla para cargarlo, Tesla envía una gran cantidad de información, cada sensor al automóvil, pero fluye a la computadora de Tesla para su análisis y mejora. calidad. Lo que veo es que toda esa máquina a máquina y todos los sensores dentro de una compañía individual crean nuevas demandas.
Ahora sobre todo hoy, eso está fluyendo hacia estos sistemas analíticos, y tomemos el caso de Tesla; El primer uso de Tesla de eso, a mi entender, fue para mejorar la vida útil de la batería, bajo “¿Qué temperaturas operativas son, cuáles son las cargas? Miremos, diseñemos una batería mejor ". Pero luego comienzan a pensar, y eso es genial, es un problema analítico profundo que es fascinante, la siguiente pregunta es:" ¿Cómo puedo mejorar la experiencia momento a momento? ?
Ahora tomemos el caso como Nest, donde estás tratando de hacer análisis predictivos para cambiar la temperatura de un hogar momento a momento. Ese es el tipo de caso en el que comenzamos a ver en Aerospike, donde hay este enorme lago de datos y hay estos enormes procesos analíticos, pero ¿qué voy a hacer ahora? Voy a tener que guardar, piense en ello como el efectivo, una parte de la última semana, el último mes, tal vez incluso el valor del último día de información, probablemente en un back-end porque estamos tratando con un sensor simple dispositivos, y voy a hacer una serie de análisis en ese momento para cambiar las experiencias. Ese tipo de experiencias similares a Nest, una para la que veo casos de uso de Aerospike.
Robin Bloor: Bueno, lo que esperaba con Internet de las cosas, era que comenzaras a obtener disparadores de umbral y que comenzarían a crear cascadas de eventos. ¿Has visto algo así o no es nada que hayas visto todavía?
Brian Bulkowski: Dez y yo estábamos, solo le pedía la opinión de Dez sobre eso cuando estábamos charlando antes del show. Lo que aún no he visto es el tipo de cascada de datos en cascada de una empresa en otra empresa, que mi refrigerador Samsung está hablando con mi lavadora LG porque descubrió que derramé un montón de chocolate por todo el piso, así que ese tipo de empresa a empresa dispositivo por dispositivo, creo que todavía estoy esperando eso en términos de Internet de las cosas. Creo que hay algunos problemas en los negocios y la seguridad que en su mayoría no son técnicos y que deben ser respondidos para ver eso.
Robin Bloor: ¿ De acuerdo, Dez?
Dez Blanchfield: Tengo algunas opiniones muy fuertes sobre ese último punto en particular, que mencionaré brevemente en la conversación. Creo que a menudo las empresas y la tecnología piensan que realmente manejan de dónde proviene la demanda, pero cuando miramos lo que sucedió cuando el iPhone se convirtió en algo, y en mi opinión, fue el primer dispositivo móvil, si me disculpa el juego de palabras, pero un dispositivo que se puede transportar y que realmente puede ejecutar muchas pequeñas aplicaciones en su bolsillo, y provocó una transformación significativa en lo que pensamos sobre ser una computadora. Mucha gente piensa en iPhones o teléfonos inteligentes, o teléfonos Android como teléfonos, pero no lo son, en realidad son solo una pequeña computadora que ejecuta aplicaciones, y una de las aplicaciones que ejecuta hace llamadas, y no son llamadas que pensamos más, no son una llamada analógica punto a punto como Brian destacó, son pequeños paquetes que se enrutan.
Pero la mayoría de las veces, lo que hemos visto es esta insurgencia de teléfonos inteligentes que en realidad no se utilizan para hacer llamadas con tanta frecuencia, la probabilidad del 98% de lo que hago en mi teléfono inteligente no es hacer llamadas. Es todo menos llamadas, son aplicaciones. Creo que este efecto en cascada, y estoy ansioso por plantear esto rápidamente, pero el efecto en cascada es provocado por los consumidores, y de hecho tengo este revestimiento que arrojo con bastante frecuencia para obtener un montón de CXO sentado en la habitación y prestando atención si creo que se están quedando dormidos con la presentación que estoy haciendo, lo cual no sucede con demasiada frecuencia, con suerte.
De alguna manera lo dije en esa interrupción que estás viendo en tu negocio en realidad no está siendo impulsada exclusivamente por la tecnología, es más frecuente que no sea impulsada por tus clientes. Y se sientan y se preguntan, ¿qué quiere decir allí? Entonces, cuando pienso en el uso de la tecnología, quiero decir que vimos USENET, vimos todo este tipo de cosas divertidas que suceden en Internet, pero no mucha gente predijo las redes sociales y el impacto de las mismas. Todos quieren decirle a todos lo que desayunaron, el ruido que creó y la tecnología de back-end que tuvimos, y luego, por supuesto, la publicidad está tratando de llenarlo de cosas.
Creo que vamos a ver un efecto en cascada hasta el punto en que los dispositivos están hablando con los dispositivos, los consumidores simplemente se están poniendo al día con lo que eso realmente significa y lo que eso puede hacer. Planteaste un punto interesante sobre por qué el botón de Amazon no habla con Walmart. Voy a publicar esta pregunta, ¿qué sucede cuando Walmart tiene su propio botón, y luego qué pasa si las veinte principales Amazonas y Walmarts y otras redes de distribución y minoristas importantes tienen sus propios botones? ¿A dónde nos lleva eso? Específicamente, mi pregunta con Brian será: “¿A dónde vamos con este nuevo paradigma de desempeño? Estás a la vanguardia y estás trabajando con compañías que lo están haciendo tanto a nivel de infraestructura física como a nivel de transferencia de datos. ¿A dónde nos lleva esto cuando llegue la próxima gran ola? ¿Qué tipo de información puedes compartir sobre eso con lo que está sucediendo en el back-end de tu experiencia?
Brian Bulkowski: Claro, la forma en que pienso en muchas de estas cosas es centrarme en las experiencias de los usuarios y exactamente lo que usted dijo, son los usuarios los que manejan, aunque, como tecnólogos y personas de negocios, podríamos llegar a un idea inteligente que creemos que les gusta a los usuarios, y volveré al ejemplo de Nest. Cuando mi hermana instaló Nest en su casa, dijo: “Mi casa está más tranquila, puedo escuchar cosas. Ni siquiera es solo que estoy pagando menos por el poder ", lo hace, pero ahora no podrías quitarle ese Nido de las manos porque le gusta estar en una casa más tranquila en lugar de una donde la calefacción está funcionando al máximo y luego volviendo a apagar.
La pregunta termina siendo, ¿cuáles son las experiencias de los usuarios que podemos potenciar? Eso termina siendo, esa experiencia de calidad de vida, que si tenemos el dinero y estamos en el primer mundo, pagaríamos mucho. Te daré un ejemplo de mi propia casa, a mi novia le gusta la leche fría. A ella le gusta la leche realmente fría, y muy a menudo tenemos que intentar averiguar en qué parte del refrigerador va a estar lo suficientemente frío, y no tener el resto de las cosas sobrecalentadas. Bueno, esto es genial, y le dije a mi novia: "¿Pagarías $ 10 al mes por tomar leche fría y no por tener fiambres congelados?" Ella dijo: "Absolutamente". Y obtenía $ 10 al mes de cualquier consumidor es duro.
Creo que en estas experiencias realmente tenemos que estar atentos a cuál es esa experiencia del consumidor final que realmente podría ser impulsada. Creo que eso era parte del secreto del iPhone. Creo que es parte del secreto de Tesla construir un auto mejor con todos los datos, abolir la idea de un ciclo de producto y un lanzamiento anual y realizar mejoras continuas en cada parte. Tendremos que proponer algunas ideas inteligentes sobre cómo usar todos estos datos de una manera que sea convincente momento a momento para la vida de las personas.
Dez Blanchfield: Sí, esa es una gran idea. Liderando desde eso, el otro extremo del espectro, que hace eco exactamente con el tipo de cosas que estamos viendo ahora con lo que los consumidores están pidiendo, y todos tenemos algo en la casa que tiene frío y calor de eso. El otro extremo del espectro es entonces, y hemos visto esto en una especie de "mundo de big data" tradicional donde las asignaciones de datos se están volviendo más raras que los dientes de gallina y las que están en el mercado se ofrecen más de lo que los CIO están ganando. en algunos casos, los tipos de empresas con las que está trabajando y los tipos de desarrollo que ha visto, es el caso de los tipos de desarrollador y el tipo de arquitecto de datos y los especiales de redes, cada vez son más difíciles de encontrar ? ¿Necesitamos que las organizaciones comiencen a pensar ahora en adelantarse a la curva del tipo de conjunto de habilidades que necesitan en el back-end para el tipo de desarrolladores y arquitectos de datos? ¿Qué está viendo a ese nivel en cuanto a los recursos de habilidades que entenderán cómo poner esta tecnología en buen uso ahora?
Brian Bulkowski: Sí, creo que ese es uno de los desafíos que enfrentan las organizaciones con las que he hablado. Ya sea que sea, los peores problemas que he escuchado son en realidad empresas más grandes, porque si usted dice: "Soy de este gran banco, soy de Chase y fui arquitecto de datos", entonces usted " El mundo tiene su ostra y su salario sube mucho, por lo que existe el problema de encontrar un trabajo en uno de esos lugares porque no hay suficiente gente y luego poder pasar de un trabajo a otro. No escucho nada más que ese tipo de problema, y esa es en realidad una de las razones por las que he estado centrando Aerospike en el uso de herramientas apropiadas para el equipo del proyecto en particular.
En lugar de tratar de entrar en un equipo de proyecto y decir: "Oye, deberías usar nuestro lenguaje de consulta". Mira, si esos tipos, están manejando el autobús en estos días, chicos y chicas, y si usan un lenguaje de consulta particular y herramientas, van a seguir con eso, y no puedo convencerlos de nada más. Mi objetivo es poder poner el tipo de poder Aerospike como una base de datos detrás de cualquier herramienta que estén usando y eso es parte de esta idea, las diapositivas que está viendo sobre el futuro de la base de datos Poliglot. Necesito apoyar los patrones de aplicación y análisis entre estos tipos, porque realmente es difícil tratar de encontrar personas que tengan los conocimientos matemáticos y las capacidades estadísticas para navegar por este mundo.
Dez Blanchfield: Otra cosa interesante de la que la gente puede no estar al tanto, quiero decir que Aerospike es un jugador muy fuerte en el mundo del código abierto, estoy ansioso por obtener una visión muy rápida de lo que eso significa en cuanto a cómo El negocio opera y lo que hace por usted. Mencionaste que trabajaste directamente con personas que están haciendo cosas hasta el nivel del kernel, así que el kernel de Linux. Hay algunos grandes jugadores que están en este espacio, y hay algunas marcas famosas que no mencionaremos, pero una organización como Aerospike, en su historia reciente más moderna, la experiencia de código abierto, ¿cómo encaja eso en el panorama general? ¿Y qué ventajas competitivas has visto que te dan?
Brian Bulkowski: Claro, cuando hicimos la transición al código abierto en 2014, lo hicimos porque nos dimos cuenta de que una infraestructura central, como una base de datos, debe estar disponible, debe ser confiable y un contrapeso natural entre el viejo mundo de los sistemas cerrados. fuente, y una vez que invierte en una base de datos particular, esos tipos lo tienen a su merced para el ciclo tecnológico después del ciclo tecnológico, y debe haber un equilibrio. Necesitamos poder sacar versiones que hagan cosas nuevas, y tal vez sea una versión empresarial, necesitamos un modelo de doble licencia que tenga una versión de código abierto para las personas que están pateando los neumáticos que están haciendo un trabajo sin fines de lucro., así como una versión empresarial que es una licencia de propietario y permite un trabajo ilimitado.
Y, por supuesto, también tendremos los niveles más altos de velocidad y escala, siendo una versión empresarial. Creemos en el modelo de licencia de duelo, y eso ha sido excelente para nuestro negocio. Queremos que las personas comiencen con Aerospike, queremos pequeños proyectos para patear los neumáticos, es muy fácil ir a Amazon, lanzar un script de confirmación y tener un clúster de Aerospike ejecutándose en cinco minutos. Por otro lado, queremos dar más a los clientes empresariales.
Dez Blanchfield: Nos estamos acercando al final de la hora, así que voy a volver a Rebecca en un momento, pero si hubiera un solo trazador de líneas que arrojarías allí, una especie de consejo le darías a la gente que está buscando entrar en el espacio de la tecnología que has traído al mercado y cómo la van a adoptar, ¿cuál dirías que el primer paso para ellos es al menos sumergir su dedo del pie y empezar a ver cómo van a obtener una ventaja competitiva de su plataforma?
Brian Bulkowski: Claro, parte del mensaje aquí es que hay niveles de velocidad y habilidad que ahora son fáciles. No necesita un clúster Cassandra de mil nodos para lograr millones de transacciones por segundo. Puedes hacerlo incluso en las primeras fases de tu proyecto. Entonces las cosas son mucho más fáciles de lo que solían ser. Luego, el segundo consejo es que tendrá que proponer, tal como lo está diciendo, modelos matemáticos de participación del cliente en el proceso comercial que utilizan todos estos datos, por lo que la buena noticia es que los datos están disponibles, el Una mala noticia es que realmente tienes que buscar algunos patrones y algunos casos de uso convincentes.
Dez Blanchfield: Sí, un gran consejo, así que voy a devolverle a Rebecca ahora. Muchas gracias por eso, fue una gran charla sobre la tecnología, lo agradezco.
Rebecca Jozwiak: Gracias, Dez. Tengo un par de buenas preguntas de la audiencia. Déjame tirar esta diapositiva. Sé que hablaste sobre el sistema de grabación y mainframe, pero ¿con qué frecuencia estás viendo una descarga absoluta o la replicación es una reconciliación al final del día, algo de lo que ves más?
Brian Bulkowski: Lo que vemos en Aerospike es usar una base de datos NoSQL frente a ese sistema de reconciliación al final del día. Necesita intradía, la respuesta correcta. No se puede tener la respuesta incorrecta, y eso fue lo que Robin dijo sobre el activo es subestimado, pero los procesos comerciales en torno a los requisitos legales de la reconciliación pueden volverse bastante complicados y hay décadas de tecnología y décadas de leyes y prácticas legales en torno a la reconciliación. Entonces, lo que vemos en Aerospike es que vas a hacer tus algoritmos en una base de datos más caliente con más transacciones por segundo. Pero por razones legales, absolutamente necesita un sistema de reconciliación que haya pasado por esos procesos legales. Vemos ambos, y vemos que esta es esencialmente la práctica de TI de dos niveles según lo expuesto por personas como Anderson Consulting y Gartner hasta cierto punto. Vemos mucho de eso.
Rebecca Jozwiak: Bien, bien. Alguien más mostró interés en esta diapositiva en particular, dijo que era realmente interesante y se preguntó si podría entrar en un poco más de comparación flash en memoria.
Brian Bulkowski: Claro, déjame tomar una barra lateral rápida, una vez más, sé que estamos cerca del final de los tiempos. Bueno, el flash es memoria, son chips, tiendo a pensar en la RAM. Entonces, la RAM tiene características particulares, requiere mucha potencia, es muy buena para las escrituras aleatorias y las lecturas aleatorias. Donde NAND es capaz de lecturas aleatorias rápidas y menor potencia, pero es muy malo en escrituras aleatorias. Hay algunas diferencias sutiles en cómo funcionan estos dos chips a nivel de litografía, que crean una serie de diferencias técnicas.
En el caso de que esté haciendo análisis y deba omitir una gran cantidad de datos, o en el caso de Aerospike, donde obtuvo índices, los índices siguen siendo muy buenos para usar en RAM debido al paralelismo y el acceso aleatorio. Se requiere un mayor nivel de acceso aleatorio. Sin embargo, en Aerospike, encontramos el uso de esos índices para encontrar un objeto o fragmento de datos en particular, ese es el lugar apropiado para llegar a una NAND porque se convierte en una especie de tienda más grande debajo de los índices. Esa es una transacción con un dispositivo de almacenamiento, pero aún después de hacer muchas potencialidades y filtros dentro de su sistema de indexación.
Rebecca Jozwiak: Bien, bien. Y luego, sé que ya hablamos mucho sobre el IoT y un comentario de los asistentes dijo que el IoT es en gran medida beneficioso, pero ¿crees que las empresas, las entidades gubernamentales y los desarrolladores están creciendo de manera segura y asegurando los datos al mismo ritmo?
Brian Bulkowski: Quizás Dez, ¿te gustaría saltar?
Dez Blanchfield: Sí, estoy feliz de saltar a eso. Creo que la respuesta es no. De hecho, una de mis líneas desechables favoritas sobre este tema muy, muy brevemente, es que creo que la explosión de máquina a máquina y el Internet de las cosas en general, la comunicación y la seguridad, el riesgo a su alrededor, estamos ahora en el punto donde Los gobiernos no pueden mantenerse al día con la tasa de cambio. Y, de hecho, sabemos que muchas organizaciones no pueden mantenerse al día con la tasa de cambio. De hecho, si lo parafraseo, la tasa de cambio hoy es tan grande que las organizaciones tienen que correr solo para mantenerse al día, pero tienen que correr en varias carreras. No creo que la ley, y no creo que el gobierno en general, ya sea a nivel estatal o federal, pueda mantenerse al día con la tasa de cambio.
Ahora, mi consejo general para la gente es actuar y pedir perdón más tarde. Ha habido muchos ejemplos de eso en el pasado. Se pondrán al día, pero creo que ahora depende de las empresas y los proveedores de tecnología innovar en este espacio y garantizar que estamos familiarizados con los riesgos de seguridad o privacidad y que tenemos que lidiar con ellos. Los bancos en particular, como mencionó, cuando piensa en lo que tradicionalmente ha hecho una organización bancaria con cosas como el antilavado de dinero y conoce a su cliente, el desafío AML / KYC, solía ser que cada tres o cinco años intentaríamos y cumplir con el cumplimiento.
Ahora creo que eso debe integrarse en cada transacción. Siempre ha sido capaz de hacer eso a nivel de oferta con publicidad y acciones y comercio de bonos y acciones, creo que estamos en el punto en que el rendimiento que está generando con la plataforma Aerospike nos permite ahora pensar en cómo generar privacidad, ¿cómo aportamos seguridad a esa cadena de decisiones inmediata en tiempo real? Y entonces la respuesta es no, no creo que los gobiernos se mantengan al día. Creo que las empresas necesitan mantenerse al día, y creo que debemos actuar ahora y pedir perdón más tarde.
Brian Bulkowski: Permítanme agregar un par de puntos también. Los tipos con los que trato, las compañías de tecnología con las que trato, son muy conscientes de asegurarse de que están en el lado correcto de la ley, y una buena parte de la discusión es, es esta PII, ¿puedo usar esto? Estoy usando esta porción particular de datos? ¿Cuál fue su providencia, y es esta una decisión o experiencia protegida? ¿Cómo hago todo eso? Entonces esas son las buenas noticias. A veces me pregunto acerca de nuestra discusión como sociedad en torno a dónde nos dirigimos, y si incluso nuestra discusión de la sociedad está en el nivel apropiado en términos de uso de las nuevas capacidades desde IoT hasta el aprendizaje automático, que es la única manera para ordenar los volúmenes de datos que tenemos. Pero la buena noticia es que los tipos con los que hablé están realmente en el lado correcto de tratar de hacer lo correcto con las decisiones legales que hemos tomado.
Rebecca Jozwiak: Esas son algunas respuestas realmente buenas de ustedes dos, y estoy totalmente de acuerdo. No creo que la seguridad se esté moviendo a un ritmo más rápido que el desarrollo de la tecnología, particularmente cuando se trata de Internet de las cosas, pero tengo que pensar que las personas están haciendo lo mejor y espero que lleguemos allí. Siempre es un poco difícil estar diez pasos por delante de los ciber ladrones y los ciberdelincuentes, pero llegaremos allí.
Bueno amigos, hemos pasado ocho minutos más allá de la hora. Me gustaría agradecer a nuestros invitados Brian Bulkowski de Aerospike y Dez Blanchfield y Robin Bloor. Muchas gracias. Siempre pueden encontrar nuestros archivos en insideanalysis.com, SlideShare, YouTube, tenemos muchas transmisiones web buenas, amigos, ha sido un mes muy ocupado. Será un mes muy ocupado el próximo mes, así que estad atentos y esperamos verte la próxima vez. Gracias amigos, adiós.
