¿Qué es DataOps? Todo en torno a las operaciones de datos.

Más que una plataforma tecnológica y discreta, las DataOps son un enfoque o una metodología. Implica reunir varias tecnologías y prácticas de datos en un entorno integrado. Los datos fluyen fácilmente en este sistema, desde sus fuentes de datos a través de una refinería y un repositorio hasta el consumo de datos, lo que le ayuda a generar un impacto positivo en su negocio. En el camino, sus tecnologías, procesos y empleados son de vital importancia para alcanzar una meta efectiva.

La infraestructura para DataOps combina cinco elementos esenciales que van desde tecnologías hasta un cambio cultural completo. El primer elemento son las tecnologías habilitantes, muchas de las cuales probablemente ya estén en su empresa (incluidas la automatización de TI y las herramientas de administración de datos), así como la IA y el aprendizaje automático (ML). El segundo es una arquitectura adaptativa que admite innovaciones continuas en las principales tecnologías, servicios y procesos. El tercer elemento es el enriquecimiento de sus datos, poniéndolos en un contexto útil para un análisis preciso. Esto significa metadatos inteligentes que el sistema crea automáticamente, a menudo en la ingestión para ahorrar tiempo más adelante en su canalización de datos. El cuarto es la metodología de DataOps para construir e implementar sus análisis y flujos de procesamiento de datos según su gobierno de datos y su modelo de administración.

El quinto elemento de una infraestructura de DataOps es el más importante y el más complicado: la cultura y las personas. Para cumplir con el potencial de DataOps, debe tener o construir una cultura de colaboración entre sus operaciones de TI y la nube, la arquitectura y la ingeniería de datos, y los consumidores de datos como analistas de datos y científicos de datos. Solo entonces DataOps colocará los datos correctos en el lugar y el momento adecuados para fomentar el verdadero valor del negocio.

Una arquitectura de DataOps requiere una adaptabilidad significativa, ya que los requisitos y el uso de los datos cambian de manera continua y rápida. Sus consumidores de datos (los analistas de datos, los científicos de datos y los administradores de negocios) desarrollan necesidades nuevas y distintas a medida que las prioridades y las condiciones del mercado evolucionan. Una arquitectura adaptable acepta y se ajusta a estos cambios, permitiendo que el flujo de datos y conocimientos de calidad mejore en cada paso.

Las arquitecturas exitosas de DataOps soportan y requieren la colaboración de toda su empresa. A medida que sus consumidores de datos obtienen los datos y la información que necesitan para sus iniciativas comerciales, deben ser capaces de construir y dar forma rápidamente a sus datos y a los flujos de procesamiento de datos a través de los que ingresan. Y la arquitectura debe hacer que estas operaciones de datos sean lo más fácil y prácticas posible para fomentar la adopción y los negocios inteligentes.

Puede imaginarse lo amplia que es esta pregunta. Pero le daremos cinco puntos o pasos principales en su viaje para alcanzar el máximo potencial de sus datos. Para comenzar, evalúe y ajuste su cartera y procesos tecnológicos para eliminar la redundancia y consolidar el control dentro de sus equipos. Luego, consolide sus equipos para fomentar el intercambio y reducir las inconsistencias que obstaculizan la colaboración. Tercero, integre las prácticas de DataOps en sus equipos y canalizaciones de datos. Por lo general, esta es una etapa difícil en la que la colaboración exige que sus empleados utilicen procesos con los que no están familiarizados y confíen en otros equipos con los que no han trabajado antes.

En el cuarto paso, ha alineado a su personal y es hora de automatizar sus procesos. La automatización hace que sus flujos de procesamiento de datos sean más eficientes y sus operaciones de datos sean más efectivas. Pero eso no es todo. El quinto y último paso es dar a sus consumidores de datos la capacidad de servirse a sí mismos. En este punto, los datos rápidamente se vuelven información y conocimiento para liberar toda la potencia de sus DataOps en toda su organización. No olvide revisar cada componente de sus operaciones de datos y calibrar sus procesos meticulosamente para continuar mejorándolos, adaptándolos y actualizándolos a fin de mantener la potencia de su información.

Un amplio conjunto de tecnologías y procesos habilitantes hacen que DataOps sea posible en su empresa, incluida la tecnología de administración de datos (catálogos de datos, virtualización de datos, canalizaciones de datos, administración de modelos de IA), así como tecnología para control de versiones, automatización de pruebas, automatización de implementación y administración de versiones, y orquestación en tiempo de ejecución, o incluso colaboración. La automatización para las pruebas y la implementación utilizan IA y ML para soportar procesos y flujos de trabajo, lo que evita la configuración manual. Usted querrá confiar en la tecnología para reducir los obstáculos hacia la interoperabilidad. Ya sea que integre sus tecnologías en una única base o forme un grupo de tecnologías interoperables, querrá que estas tecnologías funcionen en todos nuestros entornos de datos actuales y previstos: locales, en la nube, multinube e híbridos.

Los metadatos inteligentes son de vital importancia. Utilice tecnologías inteligentes con IA ampliada y ML que sus metadatos inteligentes utilizarán para optimizar sus inferencias. Al crear metadatos automáticamente en la ingestión, detectarlos de forma automática en el tiempo de ejecución y etiquetar los objetos de datos adecuadamente, usted reduce el esfuerzo manual de su equipo de manera significativa. Como resultado, acelera el desarrollo de sus flujos de procesamiento de datos y la adopción y el análisis efectivo por parte de sus equipos.

DataOps es una metodología y una actitud mental centrada en la colaboración. No existe un único ingeniero (o cualquier otro puesto de trabajo) que garantice el éxito de DataOps. La colaboración de su empresa se extiende desde su personal de TI hasta sus expertos en datos y sus consumidores de datos. Tanto el pensamiento como los territorios aislados se disolverán para conformar una colaboración entre equipos y la comprensión general de que los datos le pertenecen a toda la empresa.

Eso no significa que las habilidades individuales se disuelven en la actividad general de la empresa, sino que sus equipos usan sus habilidades existentes de una forma diferente. La ingeniería, la calidad, la elaboración de perfiles, la ciencia y la administración de datos continúan siendo necesarios y útiles. Ahora ayudan a que su infraestructura de DataOps suministre a sus consumidores de datos, que son sus analistas de negocios y de datos. Mediante DataOps, ellos mejoran su capacidad de explorar los datos rápidamente y por su cuenta. Los administradores de datos cambian su función, y ahora se les pide que mantengan la calidad de los datos y optimicen los metadatos. Por supuesto, existen ingenieros de datos que los aportan y descubren vacíos de datos para completar. Y el personal de TI y de operaciones mantiene y optimiza las operaciones de datos.

Al ser una metodología, DataOps no es un producto que se ofrece como almacenamiento como servicio (SaaS). Pero el SaaS puede ser parte de la práctica de DataOps al añadir microservicios, organización y gestión del flujo de procesamiento de datos en toda su organización. Varias de las herramientas que necesita para DataOps están disponibles en el modelo de entrega de SaaS.

La respuesta rápida es que todavía ninguna empresa ha alcanzado el máximo potencial de DataOps. Existe una necesidad continua de mejora. Dicho esto, algunas empresas están más adelantadas que la mayoría. Por lo general, se trata de empresas de última tecnología que tienen grandes equipos de DevOps y que ahora también respaldan las iniciativas de DataOps. En un sentido más amplio, muchas organizaciones pueden estar llevando a cabo algún tipo de DataOps, sin ser conscientes de ello o llamarlo de esa forma. A menudo las iniciativas para la agilidad de datos están estrechamente alineadas con las iniciativas de DataOps.

Deberíamos añadir rápidamente que ponemos en práctica DevOps en nuestra propia empresa. Por ejemplo, implementamos los análisis empresariales, los informes y la plataforma de IdC en una arquitectura de lago de datos con almacén de objetos y Pentaho. Como resultado, aumentamos la eficiencia, redujimos el costo operativo y fomentamos nuevas oportunidades de negocios. Alcanzamos una mejora del 30 % en las operaciones de análisis de datos, notamos una mejora del 50 % en la calidad y consistencia de los datos y logramos reducir en un 20 % los costos operativos de la plataforma. A eso llamamos la ventaja de DataOps.

DataOps es un concepto más nuevo y más amplio que DevOps. Así como DevOps, DataOps automatiza, simplifica y depende de una nueva colaboración entre equipos y departamentos. DevOps facilita la colaboración entre el desarrollo y las operaciones dentro de TI. DataOps crea (y requiere) la colaboración en toda la empresa, desde TI hasta los expertos en datos y los consumidores de datos. DevOps hace que la TI sea más efectiva. DataOps hace que toda la empresa sea más efectiva.

Tanto con DevOps como con DataOps, las empresas deben replantearse la totalidad del problema, incluidos los objetivos. DevOps amplía el alcance del problema y no lo ve como un problema de desarrollo o de operaciones, sino como un problema de ambos. DataOps hace lo mismo, ya que las organizaciones se replantean el flujo de procesamiento de datos desde su creación hasta su uso. Excepto que DataOps afecta a muchos más grupos, ya que la organización entera depende de los datos. DataOps también es más compleja. Con DevOps, básicamente se tiene un flujo de entregas (del código a su ejecución), pero con DataOps se tiene la implementación de la producción y los flujos de procesamiento de datos para entrenar modelos de datos y ejecutar flujos de procesamiento de datos. Deberá adaptar, mejorar y medir todos estos aspectos continuamente.

Una investigación reciente de 451 Research sobre "DataOps como la base para la agilidad, la seguridad y el cambio transformacional" ofrece información importante de empresas que ya están usando las metodologías de DataOps. El informe concluye con estos hallazgos:

• Si bien el concepto de DataOps está más asociado con la eficiencia operativa, dicha optimización de la eficiencia está relacionada no solo con la agilidad, sino también con la seguridad y el cambio transformativo.
• Las empresas que ya implementan DataOps están totalmente de acuerdo con que tienen un impacto positivo en su organización, y si bien la mejora en la agilidad y eficiencia están muy asociadas con DataOps, el impulso, la prioridad y el beneficio más importante está realmente relacionado con la seguridad y el cumplimiento.
• Dichas empresas que han adoptado DataOps son más avanzadas en términos de transición a la nube y de ejecución de estrategias de transformación digital y, como tales, están en mejores condiciones para obtener una ventaja competitiva sobre sus rivales.
• Además, los primeros usuarios de DataOps disfrutan de beneficios en la medida en que redoblan la inversión en productos y servicios, así como también en procesos y cambios en la organización.
• Como tales, los resultados de la encuesta refuerzan nuestra opinión de que si bien todavía es relativamente desconocido como un término común hoy en día, se puede esperar que DataOps tenga un impacto creciente en el mercado general en los próximos años.

Bueno, nosotros somos Hitachi Vantara. Somos pioneros en las operaciones de datos y su desarrollo en nuestro propio negocio, y trabajamos con nuestros clientes y socios estratégicos para construir y optimizar sus DataOps. Con casi 110 años en tecnología operativa y más de 60 años en TI, Hitachi puede aportar una experiencia más vasta que cualquier otra empresa a DataOps.

Capacitamos a nuestros clientes para que obtengan su ventaja de DataOps mediante una variedad de ofertas que respaldan lo que llamamos los "datos dirigidos al valor" (o SEAM, Data Stairway to Value). Estas ofertas les permiten a nuestros clientes hacer lo siguiente:

ALMACENAR (STORE): Almacenar, gestionar y proteger los datos al costo más bajo y al nivel adecuado de servicio a través de soluciones perimetrales, privadas, híbridas y multinube.
ENRIQUECER (ENRICH): Enriquecer los datos con clasificación y catalogación de metadatos para proporcionar un contexto a la gestión y administración de datos inteligentes.
ACTIVAR (ACTIVATE): Descubrir, integrar y organizar los activos y los análisis de ventaja de los datos empresariales a fin de generar información procesable para cada interacción y aplicación empresarial.
MONETIZAR (MONETIZE): Ofrecer resultados que capturen el valor económico total de todos los datos dentro y fuera de la empresa del cliente y más allá.

A fin de cuentas, es crucial que nuestros clientes elijan Hitachi Vantara: un socio estratégico que innovará junto con ellos para hacer realidad su visión exitosamente. Esto significa que siempre partimos desde el resultado comercial que desean impulsar. Combinamos este enfoque con la experiencia de la industria que solo nosotros tenemos, e implementamos sistemas integrados que maximizan el valor de los datos en cada paso de “SEAM”. La excelencia en cada paso facilita el éxito en el próximo nivel, y permite que nuestros clientes dejen de caminar y comiencen a correr hacia la madurez digital y una verdadera ventaja con DataOps.