数据可靠性支持实时报告与分析

概述

挑战

• 助力零售商能够获取及时可靠的结构化数据，以获得关键报告和业务洞察。

解决方案

• Pentaho Data Integration 将复杂的零售连锁数据源融合一处，进行分析和现代化。

成果

• 将 ETL 的数据处理时间从 3-4 小时缩短至 1 小时。
  提高了环境的稳定性，使近 100 名用户能够访问数百份报告的可靠数据。
• 在广泛的数字化转型项目期间，成功融合了新旧系统的数据。
• 支持复杂的数字化转型，尽量降低干扰。
  有效的分阶段方法，每周将数十个数据处理变更从测试转移到生产。

挑战

在复杂的数字化转型项目期间整合业务数据

Bing Lee 是一家消费电子产品零售连锁店，在澳大利亚新南威尔士州拥有超过 35 家门店。Bing Lee 是一家家族企业，成立于 1957 年，以价格实惠以及融入当地流行文化的电台广告歌而闻名。其年营业额接近 5 亿澳元。

尽管 Bing Lee 是一家传统的家族企业，但其认识到企业需要与时俱进，进而开始了技术转型。

其原有 ERP 已成为依赖于单点故障的高度定制化系统。其数据以非结构化形式存在，问题性流程导致系统生成的数据不可靠。

该零售商投资了全新基于云的 ERP，并开发了自有销售点 (POS) 系统。此外，其也选择了一种全新报告工具来改善员工的用户体验。

计划是安装新 ERP 并关闭旧 ERP。然而，当 Covid-19 疫情爆发时，封锁和远程工作减缓了向新 ERP 的过渡进程。Bing Lee 的销售额和交易量大幅增长，其系统中的数据量激增。

Phil Moujaes 是任职 16 年的前总经理，现任现代化部主管。其解释道：“我们的管理团队包括采购员、店长、高级经理，在转型项目期间需要每天提供可靠的报告；数据管理变得愈加复杂，因为我们现在需要来自两个 ERP 系统的采购和销售数据的合并视图，以便进行报告和分析。”

解决方案

Pentaho Data Integration 和 Data Management-as-a-Service

Bing Lee 多年来一直与 Hitachi Vantara 合作伙伴 BizCubed 合作。该公司决定使用 BizCubed 的 Data Engineering and Enablement Platform (DEEP) 进行数据管理，并使用 Hitachi Vantara 的 Pentaho Data Integration（Pentaho Platform Suite 的一部分）作为 ETL 设计和编排的引擎。该解决方案以服务形式提供，使 Bing Lee 能够根据业务节奏不断更新自身数据处理。

Bing Lee 现代化工作项目经理 Rebecca Main 说：“我们的数据仓库团队需要一种方法来设计必要的“提取、转换和加载”(ETL) 程序，从而支持整个组织不断变化的报告需求。”

“本项目期间，我们一直在使用直观的拖放式 Pentaho 工具来更新或创建业务逻辑，”Main 说道，“它使我们能够轻松地持续添加或更改 ETL。”

集成两个 ERP 的数据可能很棘手。例如，新 ERP 可能会引入与历史数据集不一致的新数据字段。即使数据字段匹配，其内容也可能是不同的数据类型或不同格式。Pentaho 为 Bing Lee 提供了克服这些障碍的工具。

项目团队使用 Pentaho 生成 ETL 流程，该流程成功合并和融合来自两个 ERP 解决方案和超过 45 个不同 API 源的每日报告数据，包括在线购买、库存购买和变动、客户信息以及来自所有店面的数据（如单位销售额和店铺流量）。

BizCubed 的方法为快速数据采集、监控、恢复和治理提供了框架。这意味着 Bing Lee 每天都可以充分信任其数据的可靠性和可访问性。

目前，Bing Lee 拥有一个低风险数据管理平台，可靠度高且可供分析师和管理人员使用。

成果

稳定的 ETL 和可靠的聚合数据

无需等待所有必要 ETL 逻辑设计完成，即可一次性“上线”，构建单独的 ETL 流程，通过用户验收测试，并在准备就绪后立即投入生产。每周拥有二十多个完整的新流程上线，用户每天都可以使用新的报告功能。

“公司正在改变其运营模式，而我们只是完成了整体转型的冰山一角，”Moujaes 说道。“但我们决定采用分阶段的方法，这意味着依赖这些报告的员工，其所受干扰被降至最低

“这些报告对于跟踪销售、库存、采购和利润，甚至每名销售人员和店面的绩效 KPI 都至关重要，因此，它的价值对整个企业来说都具有深远影响。”

Main 表示，大多数数据仓库和 ETL 流程都依赖于串联方法。如果一个流程失败，则必须重新运行其余流程。

Main 表示：“使用我们的旧系统，恢复数据至少需要 4 个小时，甚至更长时间。用户至少要到下午才能获得更新的数据。“我们正在创建更稳定的 ETL，确保我们的数据更可靠。这意味着企业所需的数百份报告的近 100 名用户而言，遇到的问题更少，” Main 还表示，“恢复速度更快，而整个流程花费的时间更少。”