La Arquitectura de Datos: clave del éxito en iniciativas de Big data

Según el Trends in Data Management report 2020 de Dataversity, solo el 40.91% de las organizaciones encuestadas tienen una Arquitectura de Datos bien definida. Si se considera que dicha disciplina es considerada un pilar de la transformación digital y de las prácticas de Analítica avanzada, la cifra no es un buen augurio, y menos si se compara con la siguiente estadística de la misma fuente: el 61.4% de las organizaciones encuestadas dicen tener una iniciativa de Big Data o planear iniciarla en el corto plazo.

La Arquitectura de Datos es una función fundamental de la Gestión de Datos que permite conectar la Estrategia de Negocio con la ejecución tecnológica. Una Arquitectura de Datos exitosa toma en cuenta todas las necesidades del negocio, los Datos existentes y los requisitos de sistemas. Ayuda a crear un flujo de Datos a través de éstos que permita la eficiente ejecución de los procesos de negocio, y el proceso de Big Data y Ciencia de Datos no es la excepción.

La importancia de la Arquitectura de Datos y el Big Data

Para entender la importancia de la Arquitectura de Datos en el Big Data hay que saber qué implica esta última función: grandes volúmenes de Datos de todo tipo, provenientes de distintas fuentes que, de manera iterativa, enriquecen el proceso y no pueden ser analizados mediante herramientas informáticas convencionales.

Mientras que el objetivo de Big Data consiste en habilitar un ecosistema de Datos con el potencial suficiente para soportar las actividades de Ciencia de Datos, el de la Arquitectura de Datos es definir el origen, los tipos de Datos y los flujos necesarios para el desarrollo de dicho ecosistema.

La Arquitectura de Datos diseñada para alcanzar el objetivo debe ser lo suficientemente sencilla como para que los interesados puedan comprenderla y, al mismo tiempo, lo suficientemente robusta y estable para mantener el proceso y satisfacer las necesidades de negocio. En este sentido, la Arquitectura de Datos no se debe concebir como un diseño o método universal, sino como un conjunto de técnicas, metodologías y artefactos que ayuden a desplegar y producir ecosistemas de información.

Arquitectura típica de 3 capas

Una arquitectura típica de Big Data consta de las siguientes tres capas:

• • Capa de análisis y visualización: su objetivo es la visualización de los Datos para su exploración y análisis mediante técnicas estadísticas, algoritmos de análisis predictivo, aprendizaje automático, etc
  • Capa de Gestión de Datos: su objetivo es la integración, el Gobierno y la Seguridad de los Datos
  • Capa de almacenamiento y procesamiento: su objetivo es el almacenamiento de los Datos obtenidos y su procesamiento eficaz y eficiente, acorde con las necesidades de negocio

En cuanto al procesamiento, las Arquitecturas de Big Data típicas son la Arquitectura Lambda y la Arquitectura Kappa. En la primera, el procesamiento es batch y streaming, mientras que en la segunda se elimina la capa batch, dejando sólo la de procesamiento streaming.

Chris Seferlis, especialista en Datos en Microsoft, explica en este video algunas diferencias clave entre este dos tipos de arquitecturas. 

Una Arquitectura de Datos Unificada

En palabras de Stephen Brobst, Chief Tecnology Officer de Terada, dentro de cinco años ya no utilizaremos el término Big Data. En el futuro, lo que hoy llamamos Big Data incluirá Datos estructurados y no estructurados en un solo ecosistema de Analítica, por lo que ya no podremos pensar más en Big Data como algo separado. No importa si se trata de Datos pequeños, grandes, cuadrados, circulares o triangulares, lo que se buscará será integrar esa información y ponerla a disposición de los tomadores de decisiones. La base girará en torno al conjunto de herramientas que emergerán, necesarias para manejar la integración a través de múltiples tipos de Datos, sistemas de archivos y tecnologías. En este sentido, nos referiremos a la capacidad de la Arquitectura Unificada de Datos que permite aunar el acceso a la información de distintos tipos en un solo entorno o ecosistema Analítico.

Una Arquitectura de Datos Unificada moderna incluye infraestructura, herramientas y tecnologías que crean, administran y respaldan la recopilación de Datos, el procesamiento, las cargas de trabajo analíticas y de aprendizaje automático. El responsable de la Arquitectura de Big Data debe pensar en la ingesta, el almacenamiento y el procesamiento, pero no solo eso: debe pensar en cómo cada uno de estos componentes se integra en su Modelo de Datos Empresarial. También debe pensar en cómo hacer que esa infraestructura sea escalable, eficiente, gobernada y segura.

La implementación de una Arquitectura de Datos bien planificada puede llevar tiempo y dinero, pero es la única manera de garantizar que las iniciativas de Analítica Avanzada y Transformación Digital sean exitosas y permitan a las organizaciones adaptarse a los constantes cambios de la era de la economía digital.

Escrito por Christian Vázquez, Head of Financial Operations en albo