ElectraLink capacita o mercado de energia do Reino Unido usando integração de dados e análise de negócios completos da plataforma Pentaho da Hitachi Vantara

Desafio: enorme volume de dados e processo complicado, caro e trabalhoso para extrair e manipular conjuntos de dados para os clientes.

Solução: plataforma única de integração de dados e processo enxuto de gerenciamento de dados para simplificar sua extração e padronizar conjuntos de dados fornecidos aos clientes.

Resultados

  • Centenas de milhões de fluxos de dados extraídos e transformados automaticamente em informações significativas.
  • Equipe enxuta concentrada no desenvolvimento de novos serviços de dados para melhorar os processos de fornecimento de energia.
  • Menos tempo desperdiçado na manipulação trabalhosa e manual de dados.

Desafio: grandes volumes de dados extraídos e tratados manualmente

No coração do setor de energia do Reino Unido está a ElectraLink e seu Data Transfer Service exclusivo, uma rede de mensagens e comunicações à qual mais de 250 empresas de combustível e energia estão conectadas. Sempre que um cliente muda de fornecedor de energia ou que um medidor inteligente é instalado, os dados são transferidos por essa rede. Ela lida com mais de 130 GB de dados por mês.

A rede está prestes a lidar com muito mais. Quase 300.000 medidores inteligentes estão sendo instalados a cada mês como parte de um programa compulsório do governo. Em 2020, o Reino Unido terá mais de 28 milhões de medidores inteligentes. Esse grande programa está gerando, a cada ano, um aumento de 25% nos dados transmitidos pela rede do Data Transfer Service da ElectraLink.

A ElectraLink acumulou um verdadeiro tesouro com informações sobre o mercado de energia. No entanto, precisa estar em conformidade com as restrições de acesso e uso dos dados. Por exemplo, os fornecedores de energia têm acesso total aos próprios dados, mas só conseguem acessar os dados de outro fornecedor em uma visualização agregada ou anonimizada.

A ElectraLink fornece esses serviços de dados como uma oferta comercial. Embora os dados sobre energia sejam estruturados e bem definidos, são complexos, e os volumes são enormes.

A empresa usava um processo complicado, caro e trabalhoso para executar consultas ad hoc que costumavam ser diferentes para cada aplicativo. Ela precisava de um processo enxuto para simplificar a extração de dados e padronizar conjuntos de dados fornecidos aos clientes.

Para extrair centenas de milhões de fluxos de dados e transformá-los em informações significativas que nossos clientes comprassem e utilizassem para melhorar seus processos de fornecimento de energia, era necessário muito trabalho. O Pentaho facilita esse procedimento.
– Dan Hopkinson, diretor de serviços de rede e informações do mercado de energia, ElectraLink

Solução: dados de várias fontes integradas em uma só plataforma

A ElectraLink recorreu ao Pentaho Data Integration e ao Pentaho Business Analytics da Hitachi Vantara para integrar dados de várias fontes em uma só plataforma e disponibilizar os dados para análise quase em tempo real.

A arquitetura de TI da empresa inclui o AWS (Amazon Web Services) como plataforma segura de serviços em nuvem, um armazenamento de dados Vertica, Egnyte para o portal FTP e o Pentaho Data Integration para automação e orquestração de processos para criar os conjuntos de dados. A ElectraLink implementou o Pentaho Data Integration no fim de 2016, mas a empresa não tinha planos de explorar mais os recursos e painéis da plataforma como parte de seu modelo de fornecimento de produto.

A ElectraLink carrega conjuntos de dados em um portal FTP seguro, em que os clientes podem acessar os dados. Toda a rede do Data Transfer Service é atualizada à noite. "Configuramos nossos ambientes, executamos as consultas, empacotamos os dados e os colocamos de volta nos servidores FTP para os clientes acessarem. Mantemos os ambientes ativos o mínimo possível para reduzir custos. Controle de custos, automação, simplificação e processos enxutos são extremamente importantes para nós", explica Dan Hopkinson, diretor de serviços de rede e informações do mercado de energia da ElectraLink.

A ElectraLink também usa o Pentaho Data Integration para criar um glossário corporativo de processos e fluxos de dados para dados de eletricidade e combustível, o primeiro catálogo com dois combustíveis a atender o setor de energia. Os recursos de automação do Pentaho são essenciais para manter o glossário corporativo atualizado. "Estou empolgado em associar o catálogo ao Pentaho para que não precisemos alterar o código sempre que houver uma mudança no processo", comemora Hopkinson.

Resultado: introdução de serviços de dados inovadores no mercado

O Pentaho Data Integration é usado para gerenciar todos os alertas e toda a automação, o que permite que a pequena equipe de quatro pessoas da Hopkinson se concentre no desenvolvimento de novos serviços de dados e melhore os conjuntos de dados atuais para venda aos clientes por assinatura ou volume. "Temos uma série de produtos, desde feeds de dados muito simples, em que apenas fornecemos dados sob demanda, até produtos de análise muito mais complexos", explica Hopkinson.

Por exemplo, um dos produtos que a ElectraLink desenvolveu é um conjunto de dados que expõe toda a geração de energia na rede de distribuição do Reino Unido, o que inclui todos os pequenos parques eólicos e solares e pequenos geradores conectados diretamente à rede de distribuição, não à rede de transmissão. A ElectraLink conseguiu identificar os geradores incorporados com base no consumo de dados que fluem pela rede, por meio de correspondência de padrões. "A ElectraLink é a única entidade que tem uma visão abrangente da geração de energia em toda a Grã-Bretanha. É um conjunto de dados complexo e incrivelmente valioso", afirma Hopkinson.

A próxima etapa da jornada da ElectraLink é aproveitar os recursos de automação do Pentaho para oferecer acesso por API aos dados. Essa abordagem permitirá que terceiros acessem os dados em tempo real, por exemplo, para comparações de preço. Ela simplificará o processo de mudança de fornecedores e permitirá que mais clientes troquem de fornecedor de energia com mais facilidade.

VEJA MAIS

Modernização do data center

O novo ambiente definido por software significa que podemos lidar com o aumento constante nos volumes de dados sem precisar investir em hardware adicional.

Você está no lugar certo!

Hitachi Data Systems, Pentaho e Hitachi Insight Group agora são uma só empresa: Hitachi Vantara.

Obtenha mais soluções e inovações em dados de um parceiro que você pode confiar.