A confiabilidade dos dados oferece suporte a relatórios e análises em tempo real

Visão geral

Desafio

• Dar ao varejista acesso a dados estruturados, confiáveis e oportunos para relatórios críticos e insights de negócios.

Solução

• O Pentaho Data Integration combina um conjunto complexo de fontes de dados da rede de varejo para análise e modernização.

Resultado

• Redução do tempo de processamento de dados para ETLs de 3–4 horas para 1 hora.
  Maior estabilidade do ambiente, dando a quase 100 usuários acesso a dados confiáveis para centenas de relatórios.
• Combinação bem-sucedida de dados de sistemas antigos e novos durante um extenso projeto de transformação digital.
• Transformação digital complexa suportada com o mínimo de interrupção.
  A abordagem eficaz em etapas move dezenas de alterações de processamento de dados por meio de testes para produção, semanalmente.

Desafio

Integrar dados de negócios durante um projeto complexo de transformação digital

A Bing Lee é uma rede de varejo de eletrônicos de consumo com mais de 35 lojas em Nova Gales do Sul, Austrália. De propriedade familiar e fundada em 1957, a Bing Lee é conhecida pelos preços acessíveis e por um jingle de rádio que se tornou parte da cultura pop local. Seu faturamento anual é de quase 500 milhões de dólares australianos.

Embora fosse uma empresa familiar tradicional, a Bing Lee reconheceu a necessidade de mudar com o tempo e iniciou uma transformação tecnológica.

Seu ERP legado havia se tornado um sistema altamente personalizado, dependente de um único ponto de falha. Seus dados não eram estruturados e processos problemáticos estavam tornando os dados gerados pelo sistema não confiáveis.

A varejista investiu em um novo ERP baseado em nuvem e desenvolveu seu próprio sistema de ponto de venda (POS). Uma nova ferramenta de relatórios também foi selecionada para melhorar a experiência do usuário para os funcionários.

O plano era colocar o novo ERP em prática e desligar o antigo. No entanto, quando a pandemia da COVID-19 chegou, os bloqueios e o trabalho remoto retardaram a transição para o novo ERP. As vendas e o número de transações da Bing Lee cresceram substancialmente, aumentando o volume de dados por meio de seus sistemas.

“Nossa equipe de gerenciamento, incluindo compradores, gerentes de loja e gerentes seniores, precisava de relatórios confiáveis diariamente durante o projeto de transformação”, explicou o ex-gerente geral de 16 anos, agora chefe de modernização, Phil Moujaes. “O gerenciamento de dados tornou-se mais complicado porque agora precisávamos de uma visão mesclada dos dados de compra e vendas provenientes de ambos os sistemas ERP, para relatórios e análises.”

Solução

Integração de dados do Pentaho e gestão de dados como serviço

A Bing Lee trabalhava com o parceiro da Hitachi Vantara, BizCubed, há anos. Ela decidiu usar a Data Engineering and Enablement Platform (DEEP) da BizCubed para gerenciamento de dados, com o Pentaho Data Integration da Hitachi Vantara (parte do Pentaho Platform Suite) como mecanismo para design e orquestração de ETL. Essa solução é fornecida como serviço, o que permite que a Bing Lee atualize continuamente seu processamento de dados no ritmo dos negócios.

“Nossa equipe de data warehouse precisava de uma maneira de projetar os procedimentos necessários de Extração, Transformação e Carregamento (ETL) para dar suporte às necessidades de relatórios em evolução de toda a organização”, disse Rebecca Main, gerente de projeto dos esforços de modernização da Bing Lee.

“Estamos usando as ferramentas intuitivas de arrastar e soltar do Pentaho para atualizar ou criar lógica de negócios durante este projeto”, disse Main. “Isso nos permitirá adicionar ou alterar facilmente ETLs continuamente”.

A integração de dados de dois ERPs pode ser complicada. Por exemplo, um novo ERP pode introduzir novos campos de dados que não se alinham com conjuntos de dados históricos. Mesmo que os campos de dados correspondam, seu conteúdo pode ser de tipos de dados diferentes ou formatados de forma diferente. O Pentaho dá à Bing Lee as ferramentas para superar essas barreiras.

A equipe do projeto usa o Pentaho para gerar processos ETL que mesclam e combinam com sucesso dados de relatórios diários de duas soluções ERP e mais de 45 fontes de API diferentes, incluindo compras online, compras e movimentos de estoque, informações de clientes, além de dados de todas as lojas, como vendas unitárias e tráfego da loja.

A metodologia da BizCubed fornece uma estrutura para aquisição, monitoramento, recuperação e governança de dados rápidos. Isso significa que a Bing Lee pode confiar na confiabilidade e acessibilidade de seus dados, todos os dias.

A Bing Lee agora tem uma plataforma de gerenciamento de dados de baixo risco que é confiável e acessível para seus analistas e gerentes.

Resultado

ETLs estáveis e dados confiáveis e agregados

Em vez de esperar que toda a lógica de ETL necessária fosse projetada para que tudo pudesse entrar em operação de uma só vez, processos individuais de ETL foram criados, submetidos a testes de aceitação do usuário e movidos para produção assim que estivessem prontos. Até duas dúzias de novos processos completos foram ativados a cada semana, com novos recursos de relatórios acessíveis aos usuários todos os dias.

“A empresa está mudando a maneira como faz as coisas e estamos apenas na metade da transformação geral”, disse Moujaes. “Mas o fato de termos decidido adotar uma abordagem em etapas significou que a interrupção para nossa equipe que depende desses relatórios foi minimizada”.

“Os relatórios são essenciais para acompanhar vendas, estoque, compras e margens até os KPIs de desempenho de cada vendedor e loja, portanto, o valor disso é de longo alcance, em toda a empresa.”

De acordo com Main, a maioria dos processos de armazenamento de dados e ETL depende de uma metodologia de cadeia em série. Se um falhar, o restante dos processos terá que ser executado novamente.

“Com nossos sistemas antigos, a recuperação de dados levava pelo menos 4 horas, se não mais. Os usuários não receberiam dados atualizados até pelo menos a tarde”, disse Main. “Estamos criando ETLs mais estáveis e garantindo que nossos dados sejam mais confiáveis. Isso significa menos problemas para os quase 100 usuários das centenas de relatórios exigidos pela empresa”, disse Main. “A recuperação é mais rápida e o processo leva menos tempo em geral.”