La transmisión de datos abre nuevas posibilidades en la era de IoT – IoT Now


En la era pre-digital, los departamentos de TI dominaron una variedad de enfoques tecnológicos para extraer valor de los datos. Los almacenes de datos, las plataformas analíticas y los diferentes tipos de bases de datos llenaron los centros de datos, accediendo a dispositivos de almacenamiento donde los registros se conservaron de forma segura en el disco por su valor histórico.

Por el contrario, dice Kelly Herrell, CEO de Hazelcast Los datos de hoy están siendo generados y transmitidos por dispositivos de Internet de las cosas (IoT) a una velocidad sin precedentes. Las "Cosas" en IoT son innumerables: sensores, aplicaciones móviles, vehículos conectados, etc., lo que en sí mismo es explosivo. Agregue a eso el "efecto de red" donde el grado de valor está directamente relacionado con el número de usuarios conectados, y no es difícil ver por qué empresas como IDC proyectan que el mercado de IoT alcanzará los US $ 745 mil millones (€ 665 mil millones) el próximo año y superar la marca de $ 1 billón (€ 0,89 billones) en 2022.

Esta megatendencia está alterando el paradigma del procesamiento de datos. El valor histórico de los datos almacenados está siendo reemplazado por el valor temporal de la transmisión de datos. En el paradigma de transmisión de datos, el valor es una función directa de la inmediatez, por dos razones:

  • Diferencia : así como las moléculas de agua únicas que pasan a través de una longitud de manguera son diferentes en cada momento, también lo es transmisión de datos a través de la red para cada ventana de tiempo.
  • Perecebilidad : La oportunidad de actuar sobre los conocimientos encontrados en la transmisión de datos a menudo se disipa poco después de que se generan los datos.

Los conceptos de diferencia y perecebilidad se aplican a este paradigma de transmisión de datos. Los cambios repentinos detectados en los flujos de datos exigen una acción inmediata, ya sea un golpe de patrón en el reconocimiento facial en tiempo real o sensores de vibración de la plataforma de perforación que registran de repente anormalidades que podrían ser desastrosas si no se toman medidas preventivas de inmediato.

era, IoT y la transmisión de datos están acelerando el ritmo de cambio en este nuevo paradigma de datos. El procesamiento de flujo en sí mismo está cambiando rápidamente.

Dos generaciones, mismos problemas

La primera generación de procesamiento de flujo se basó principalmente en el procesamiento por lotes utilizando arquitecturas complejas basadas en Hadoop. Después de que se cargaron los datos, que fue significativamente después de que se generaron, se enviaron como una secuencia a través del motor de procesamiento de datos. La combinación de complejidad y demora hizo que este método fuera en gran medida insuficiente.

La segunda generación (todavía en uso) redujo el tamaño de los lotes a "micro lotes". La complejidad de la implementación no cambió, y aunque los lotes más pequeños menos tiempo, todavía hay retraso en la configuración del lote. La segunda generación puede identificar diferencia pero no aborda perecebilidad. Cuando descubre un cambio en la transmisión, ya es historia.

Procesamiento de transmisión de tercera generación

Las primeras dos generaciones destacan los obstáculos que enfrentan las organizaciones de TI: ¿Cómo puede ser más fácil implementar el procesamiento de transmisión mientras se procesan los datos en en el momento en que se genera? La respuesta: el software debe simplificarse, no estar orientado a lotes y ser lo suficientemente pequeño como para colocarse extremadamente cerca de las fuentes de transmisión.

Las primeras dos generaciones de procesamiento de transmisión requieren la instalación e integración de múltiples componentes, lo que resulta en un tamaño demasiado grande. de una huella para la mayoría de las infraestructuras de borde e IoT. Una huella ligera permite que el motor de transmisión se instale cerca o incrustado en el origen de los datos. La proximidad elimina la necesidad de que el flujo de IoT atraviese la red para el procesamiento, lo que resulta en una latencia reducida y ayuda a abordar el desafío de perecebilidad.

El desafío para las organizaciones de TI es ingerir y procesar fuentes de datos de transmisión en tiempo real, refinando los datos en información procesable ahora . Los retrasos en el procesamiento por lotes disminuyen el valor de la transmisión de datos. El procesamiento de flujo de tercera generación puede superar los desafíos de latencia inherentes al procesamiento por lotes trabajando en datos en vivo y sin procesar inmediatamente a cualquier escala.

Streaming en la práctica

Una plataforma de perforación es uno de los símbolos más reconocibles de la industria energética. Sin embargo, los costos operativos de una plataforma son increíblemente altos y cualquier tiempo de inactividad durante todo el proceso puede tener un impacto significativo en el resultado final del operador. Las ideas preventivas brindan nuevas oportunidades para mejorar dramáticamente esas pérdidas.

SigmaStream que se especializa en flujos de datos de alta frecuencia generados en el proceso de perforación, es un buen ejemplo de procesamiento de flujo que se implementa en el campo. Las plataformas de clientes SigmaStream están equipadas con una gran cantidad de sensores para detectar las vibraciones más pequeñas durante el proceso de perforación. Los datos generados por estos sensores pueden alcanzar de 60 a 70 canales de datos de alta frecuencia que ingresan al sistema de procesamiento de flujo.

Al procesar la información en tiempo real, SigmaStream permite a los operadores ejecutar en estos flujos de datos e inmediatamente actuar sobre los datos. para prevenir fallas y demoras. Un motor de transmisión de tercera generación, junto con las herramientas adecuadas para procesar y analizar los datos, permite a los operadores monitorear vibraciones casi imperceptibles a través de análisis de transmisión de datos de la plataforma. Al realizar ajustes precisos, los clientes de SigmaStream han ahorrado millones de dólares y reducido el tiempo en el sitio hasta en un 20%.

En la era digital actual, la latencia es el nuevo tiempo de inactividad. El procesamiento continuo es el siguiente paso lógico para las organizaciones que buscan procesar la información más rápido, habilitar acciones más rápido e involucrar nuevos datos a la velocidad a la que llegan. Al llevar el procesamiento continuo a las aplicaciones principales, las organizaciones pueden prosperar en un mundo dominado por nuevas razas de aplicaciones de ultra alto rendimiento y entregar información con la sensibilidad temporal para satisfacer las crecientes expectativas.

El autor es Kelly Herrell, CEO de Hazelcast

Comente este artículo a continuación o en Twitter: @IoTNow_ OR @jcIoTnow