Veja como os líderes que são orientados por dados estão mudando o mundo.

WATCH ON DEMAND
pt_br

O que é DataOps? Todos os aspectos das operações de dados explicados.

O QUE É DATAOPS?

DataOps é o gerenciamento de dados corporativos para a era da IA. Ele aplica as lições aprendidas com o DevOps para gerenciamento e análise de dados. A implantação eficaz do DataOps demonstrou acelerar o tempo de lançamento no mercado de soluções analíticas, melhorar a qualidade e a conformidade dos dados e reduzir o custo do gerenciamento de dados.

As operações de dados não são um produto, um serviço ou uma solução. Elas são uma metodologia: uma mudança tecnológica e cultural para aprimorar o uso que a sua organização faz dos dados por meio de colaboração e automação mais adequadas.

O QUE É UMA PLATAFORMA DE DATAOPS?

Mais do que uma plataforma de tecnologia discreta, o DataOps é uma abordagem ou metodologia. Isso significa a combinação de diversas práticas e tecnologias de dados em um ambiente integrado. Os dados fluem facilmente por esse sistema, de suas fontes de dados até uma refinaria de dados, e de um repositório de dados até o consumo de dados, o que ajuda a causar um impacto positivo nos seus negócios. Ao longo do caminho, as tecnologias, os processos e os funcionários são vitais para uma conclusão eficaz.

O QUE É UMA ESTRUTURA DE DATAOPS?

A estrutura do DataOps combina cinco elementos essenciais, que vão desde as tecnologias até a mudança total da cultura. O primeiro elemento é a viabilização de tecnologias, muitas delas provavelmente já estão na sua empresa (incluindo as ferramentas de automação de TI e de gerenciamento de dados), além da inteligência artificial e do aprendizado de máquina. O segundo é uma arquitetura adaptável que contribui para inovações contínuas nos principais processos, serviços e tecnologias. O terceiro é o enriquecimento dos seus dados, que os coloca em um contexto útil para a análise precisa. Isto é, metadados inteligentes criados automaticamente pelo sistema, geralmente durante a ingestão para, posteriormente, poupar tempo no pipeline de dados. O quarto é a metodologia DataOps para criar e implantar suas análises e pipelines de dados, de acordo com a governança de dados e o gerenciamento de modelos.

O quinto elemento de uma estrutura de DataOps é o mais importante e o mais difícil: cultura e pessoas. Para aproveitar todo o potencial do DataOps, você precisa ter ou criar uma cultura de colaboração entre as operações de nuvem e de TI, a arquitetura e a engenharia de dados e os consumidores de informações, como analistas e cientistas de dados. Somente então o DataOps poderá colocar os dados certos, no local ideal e na hora exata para promover o valor real dos negócios.

O QUE É UMA ARQUITETURA DE DATAOPS?

Uma arquitetura de DataOps precisa de uma capacidade de adaptação substancial, visto que os requisitos e o uso de dados mudam de forma rápida e contínua. Os seus consumidores de dados (analistas de dados, cientistas de dados e gerentes de negócios) desenvolvem necessidades novas e diferentes à medida que as prioridades corporativas e as condições de mercado evoluem. Uma arquitetura adaptável aceita mudanças e se adequa a elas, permitindo que o fluxo de dados e as informações de qualidade melhorem a cada etapa.

Uma arquitetura de DataOps bem-sucedida estimula e requer colaboração em toda a empresa. Visto que os consumidores de dados extraem dados e informações para iniciativas de negócios, eles devem ser capazes de criar e modelar rapidamente os dados e os pipelines de dados por eles produzidos. E a arquitetura precisa fazer com que essas operações de dados sejam os mais fáceis e convenientes possíveis para promover a adoção e negócios inteligentes.

COMO FAÇO PARA IMPLEMENTAR O DATAOPS?

Você consegue imaginar o tamanho dessa questão. Contudo, daremos a você os cinco pontos ou etapas principais da jornada para alcançar todo o potencial dos dados. Para começar, avalie e ajuste seu portfólio e seus processos de tecnologia para remover a redundância e consolidar o controle em suas equipes. Em seguida, consolide as equipes para incentivar o compartilhamento e reduzir as inconsistências que dificultam a colaboração. Depois, integre as práticas de DataOps em todas as equipes e pipelines de dados. Normalmente, esse estágio é difícil porque a colaboração exige que os seus colaboradores apliquem processos desconhecidos e confiem em equipes com as quais nunca trabalharam.

Após alinhar seus colaboradores, você precisará automatizar seus processos. A automação torna os pipelines de dados mais eficientes e as operações de dados mais eficazes. Mas ainda não terminou. A última etapa é capacitar os consumidores de dados para que eles próprios aproveitem todos os recursos disponíveis. É aí que os dados se transformam rapidamente em informações e insights para revelar todo o potencial de seu DataOps, que agora está claro em toda a organização. Lembre-se de revisar todos os componentes das operações de dados e medir meticulosamente seus processos para continuar a melhorá-los, adaptá-los e atualizá-los para sempre manter suas informações relevantes.

QUAIS SÃO AS FERRAMENTAS DE DATAOPS?

Uma ampla gama de tecnologias e processos facilitadores viabiliza o DataOps em sua empresa, incluindo a tecnologia de gerenciamento de dados (catálogos de dados, virtualização de dados, pipelines de dados, gerenciamento de modelos de inteligência artificial), a tecnologia para controle de versões, a automação de testes, a automação de implantações, o gerenciamento de versões e a orquestração de tempo de execução ou, até mesmo, a colaboração. A automação de testes e implantações usa a inteligência artificial e o aprendizado de máquina para auxiliar nos processos e fluxos de trabalho, ajudando você a evitar a configuração manual. Você desejará contar com a tecnologia para reduzir os obstáculos até a interoperabilidade. Independentemente de integrar suas tecnologias em uma única base ou formar um conjunto de tecnologias interoperáveis, você desejará que essas tecnologias funcionem em todos os nossos ambientes de dados atuais e previstos: local, nuvem, multinuvem e híbrido.

Os metadados inteligentes são vitais. Use tecnologias inteligentes com IA e ML abrangentes, as quais os metadados inteligentes usarão para aprimorar as interferências. Com a criação automática de metadados na ingestão, com a detecção automática no tempo de execução e com a marcação adequada dos objetos de dados, você reduz substancialmente o esforço manual da sua equipe. Como resultado, você agiliza o desenvolvimento dos pipelines de dados e acelera a adoção e a análise eficaz, feitas por suas equipes.

O QUE É UM ENGENHEIRO DE DATAOPS?

O DataOps é uma metodologia e uma atitude mental, tendo a colaboração como base. Não há um único engenheiro, ou qualquer outro cargo, que faça o DataOps ter êxito. A colaboração da empresa vai da equipe de TI, passa pelos especialistas em dados e chega aos consumidores de dados. Os ambientes e pensamentos em silos desaparecerão na colaboração entre equipes e surgirá uma ampla compreensão de que os dados pertencem à toda a empresa.

Isso não significa que as qualificações individuais se dissolverão nas atividades de toda a organização. No entanto, isso quer dizer que as equipes usarão as qualificações existentes de forma diferente. A engenharia, a qualidade, a ciência, o gerenciamento e a criação de perfis de dados continuarão sendo necessários e úteis. Agora, eles ajudam sua infraestrutura de DataOps a suprir os consumidores de dados, que são os analistas de dados e de negócios. Por meio do DataOps, eles aprimoram a capacidade de explorar os dados com rapidez e por conta própria. Os administradores de dados mudam de função e são, agora, encarregados de manter a qualidade dos dados e aprimorar os metadados. É claro, há os engenheiros que introduzem os dados e detectam as lacunas a serem preenchidas. E a equipe de TI e operações mantém e otimiza as operações dos dados.

O QUE É DATAOPS COMO SERVIÇO?

Como o DataOps é uma metodologia, ele não é um produto que vem como uma oferta de SaaS (Storage-as-a-Service - Armazenamento como Serviço). No entanto, o SaaS pode fazer parte da prática de DataOps, acrescentando microsserviços, orquestração e gerenciamento de fluxo de dados à toda a organização. Diversas ferramentas necessárias de DataOps precisarão estar disponíveis no modelo de entrega SaaS.

QUEM ESTÁ IMPLEMENTANDO O DATAOPS ATUALMENTE?

A resposta rápida é que nenhuma empresa alcançou todo o potencial do DataOps ainda. Há uma necessidade contínua de aprimoramento. Dito isso, existem algumas empresas que estão mais à frente do que a maioria. Normalmente, são as empresas de alta tecnologia com grandes equipes de DevOps que agora também oferecem suporte às iniciativas de DataOps. No entanto, em um sentido mais amplo, diversas organizações já podem estar realizando o DataOps de alguma forma, sem saber ou perceber o que é. Normalmente, as iniciativas de agilidade de dados se aproximam bastante das iniciativas de DataOps.

Nós devemos acrescentar também que praticamos o DataOps em nossa própria empresa. Por exemplo, instalamos uma plataforma de análise corporativa, geração de relatórios e IoT em uma arquitetura de data lake que usa repositórios de objetos e Pentaho. Como resultado, aumentamos a eficiência, reduzimos os custos das operações e expandimos as oportunidades de negócios. Alcançamos um aprimoramento de 30% nas operações de análise de dados, observamos uma melhoria de mais de 50% na qualidade e consistência dos dados e alcançamos uma redução de 20% nos custos operacionais da plataforma. Chamamos isso de DataOps Advantage.

QUAL A DIFERENÇA ENTRE DATAOPS E DEVOPS?

DataOps é um conceito mais recente e abrangente que o DevOps. Assim como o DevOps, o DataOps automatiza, simplifica e conta com uma colaboração inovadora entre equipes e departamentos. O DevOps cria colaboração entre o desenvolvimento e as operações na TI. O DataOps cria e requer colaboração em toda a empresa, desde a TI e os especialistas em dados até os consumidores de dados. O DevOps torna a TI mais eficaz. O DataOps torna toda a empresa mais eficaz.

Tanto no DevOps quanto no DataOps, as empresas repensam todo o problema, de ponta a ponta, incluindo todas as metas. O DevOps expande o escopo da dificuldade, observando-a não como um problema de desenvolvimento (Dev) ou de operações (Ops) apenas, mas sim como um problema de desenvolvimento e operações (DevOps) O DataOps faz o mesmo com as organizações que pensam no fluxo de dados desde a sua criação até o uso. Porém, o DataOps influencia muito mais grupos, visto que toda a organização depende de dados. Além disso, o DataOps é mais complexo. No DevOps, você basicamente tem um pipeline de entrega (código para execução), mas no DataOps, você tem a implantação de produção e os pipelines de dados para treinar modelos de dados e executar fluxos de dados. É necessário adaptar, aprimorar e medir todos eles continuamente.

QUAIS SÃO OS BENEFÍCIOS DO DATAOPS?

A pesquisa recente da 451 Research, "DataOps: the foundation for agility, security and transformational change" (DataOps: a base para a agilidade, a segurança e a mudança transformacional), apresenta insights relevantes de empresas que já estão usando metodologias de DataOps. Com essas descobertas, o relatório concluiu que:

  • Embora o conceito de DataOps esteja mais associado a eficiências operacionais, essas melhorias na eficiência estão relacionadas não apenas à agilidade, mas também à segurança e à mudança transformacional.
  • As empresas que já estão envolvidas com DataOps concordam, de forma esmagadora, que ele tem um impacto positivo na organização. Embora a agilidade e a eficiência aprimoradas estejam intimamente associadas ao DataOps, os principais fatores, benefícios e prioridades estão realmente relacionados à segurança e `à conformidade.
  • As empresas que adotaram o DataOps estão mais avançadas em termos de transição para a nuvem e execução de estratégias de transformação digital. Sendo assim, elas estão em uma situação melhor para ganhar vantagem competitiva perante a concorrência.
  • Além disso, os pioneiros na adoção do DataOps estão aproveitando tantas vantagens que estão apostando em um investimento ainda maior em produtos e serviços, além de mudanças processuais e organizacionais.
  • Dessa forma, os resultados da pesquisa reforçam nossa visão de que, embora o DataOps ainda seja um termo praticamente desconhecido hoje, podemos esperar que nos próximos anos ele terá um impacto cada vez maior no mercado geral.
QUAIS SÃO AS EMPRESAS DE DATAOPS?

Bem, nós estamos na Hitachi Vantara. Somos pioneiros em DataOps e em seu desenvolvimento para nossos próprios negócios. Além disso, trabalhamos com nossos clientes e parceiros para criar e otimizar seu DataOps. Com uma experiência de quase 110 anos em tecnologia operacional e de mais de 60 anos em TI, a Hitachi tem mais conhecimento do que ninguém para acrescentar ao DataOps.

Nós capacitamos os clientes para que aproveitem sua vantagem de DataOps por meio de uma ampla gama de ofertas que contribuem para o que chamamos de Ascensão dos dados ao valor (SEAM, Data Stairway to Value). Essas ofertas permitem aos clientes:

ARMAZENAR: armazenar, gerenciar e proteger os dados com os custos mais baixos e os níveis de serviços certos em todas as soluções de borda, privadas, híbridas e multinuvem.
ENRIQUECER: enriquecer os dados com a classificação e a catalogação de metadados para fornecer contexto ao gerenciamento e à governança inteligentes de dados.
ATIVAR: detectar, integrar e orquestrar os ativos de dados corporativos e aproveitar a análise para gerar informações úteis para todas as interações e os aplicativos da empresa.
MONETIZAR: entregar resultados que capturem o valor econômico integral de todos os dados que estão na empresa dos clientes e além dela.

Por fim, é essencial que os clientes escolham a Hitachi Vantara: uma parceira que inovará ao lado deles para concretizar suas ideias com êxito. Isso significa que sempre começamos com os resultados corporativos que eles desejam gerar. Combinamos essa abordagem com a experiência que só nós temos no setor e implementamos sistemas integrados que maximizam o valor dos dados em cada etapa da abordagem SEAM. A excelência em cada etapa permite o sucesso no próximo nível e capacita nossos clientes para que evoluam até a maturidade digital e se beneficiem da verdadeira vantagem do DataOps.

pt