创新型企业需要 DataOps 和新技术,因为老式的数据集成方式已不再适用。传统方法会创建单一、固定的数据管道,无法将数据快速转化为洞察,难以跟上业务发展的步伐。以下趋势正在推动企业采用日立Pentaho 平台套件:
1. 混合云和多云是未来趋势。
各行各业的企业都在向云端迁移,节省现金、优化信息技术 (IT) 成本,并为经常远程办公的用户提供支持和保障。在思考如何确保敏捷性和弹性时,他们越来越多地探索多云和混合云功能,包括边缘计算能力。据 IDC 预测,到 2022 年,全球超过 90% 的企业将依赖本地/专用私有云、多个公有云和传统平台的组合来满足其基础设施需求。1
2.现代架构提高了大数据的可扩展性。
企业也在重新思考如何利用大数据,从基于 Hadoop 的单体式数据湖转向基于对象存储的分布式数据湖。如今,企业拥有一个数据结构以及多个引擎和消费者。在这种方法下,计算和存储保持分离,并且可以通过多种技术访问数据,从而让最终用户能够安全、轻松且成本更低地访问数据。
3. 新的洞察可以帮助您从“什么”转向“如何”。
当今的企业需要处理海量数据,包括结构化数据、非结构化数据和半结构化数据。人类、机器和应用程序都可能生成这些数据。挑战在于弄清楚拥有哪些数据,以及如何将所有这些不同的数据整合在一起,使业务用户能够更快地产生可执行的洞察,做出前瞻性决策。
4. 对物联网边缘智能的需求正在推动混合解决方案的发展。
工业 4.0、智慧城市、医疗保健用例以及众多其他物联网应用等趋势推动了对边缘更高智能的需求——而边缘智能正是混合计算的一种形式。据 IDC 预测,到 2024 年,25% 的组织将通过与云和通信服务提供商合作,将边缘数据与基于云平台构建的应用程序集成,从而提高业务敏捷性。2
5. 人工智能和机器学习正在迅速提升价值。
当今的创新者正在竭尽全力从机器学习 (ML) 中获取价值,从关注“我能学到什么”转向“我如何完成它”。人工智能 (AI) 和机器学习 (ML) 正在走出实验室,进入生产环境,以支持这一努力,从而引发巨大的变革。当前的工具侧重于开发生命周期,而非生产生命周期,无法应对将 AI 和 ML 迁移到生产环境所带来的挑战。
6. 风险和合规性日益复杂。
数据风险与合规性始终是人们关注的焦点,在当今数据蔓延的世界中,《通用数据保护条例》( GDPR )等隐私法规的挑战性更是无可匹敌。由于规模、生产时间和准确性方面的要求,手动技术已无法满足需求。因此,企业需要人工智能驱动的自动化技术来应对手动技术带来的挑战。
我们需要新的技术:DataOps
DataOps 利用智能、自动化和分析技术,将数据洞察带给最需要的人。DataOps 简化了数据交付,让您能够以数据为驱动,了解如何运营当前的业务,并随着市场和消费者的变化而做出调整。
DataOps 将 DevOps、持续集成和持续交付的原则与传统的数据交付概念相结合,使您能够:
- 简化和自动化流程,以跟上分布式环境中数据管理任务的步伐;
- 支持跨云环境的数据集成、元数据管理和治理;
- 支持治理和协作,提供数据和分析功能的自助服务,从而赋能业务线组织;
- 促进当今日益分布式和远程工作环境的数据管理。
Pentaho 平台套件可帮助您释放智能数据管理的潜力。该系统将数据分析和编目、边缘设备管理和全方位的业务分析功能整合到一个敏捷的套件中。它可与现有的数据基础架构和云环境协同工作,使您能够将僵化的数据孤岛转变为全面的边缘-核心-云数据结构。
创新者如何利用 Pentaho 平台套件改善成果
DataOps 可帮助组织将 IT 和运营技术 (OT) 整合在一起,以简化其数据处理方式。反过来,这种协作可以带来更深入的洞察,支持更明智的业务决策,并提高效率和节省成本。以下是一些采用 DataOps 方法的创新者取得的积极成果。
- 增强可扩展性:一家金融服务巨头构建了一个传统的数据即服务平台来支持其内部客户,所有这些都在 Pentaho 平台套件上实现了标准化。该平台使该组织能够帮助整个银行的众多客户,通过灵活、可扩展的解决方案应对各种数据集成挑战。
- 让 IT 和 OT 更紧密地结合在一起:一家在水务、能源和环境领域管理并开发网络和服务的领先企业,正在寻求简化其支持水务公司客户和流程的方式。然而,这家大型公用事业公司尚未完全整合其 IT 和 OT 运营。该公司选择了 Pentaho 平台套件,以获得更统一的架构,从而更好地融合 IT 和 OT 数据,并由 Hitachi Vantara 的战略咨询团队提供支持。
- 使数据存储更具成本效益和灵活性:另一家大型金融机构正在应用DataOps 方法来解决数据湖优化问题。传统的基于 Hadoop 的数据湖使用存储和计算相结合的方式,为数据湖中的所有信息创建统一的环境,无论其使用年限或使用情况如何。随着数据湖的扩展,组织需要为 Hadoop 许可证和存储支付巨额费用——即使他们并不使用大部分数据。适用于 Hadoop 的Lumada 数据优化器将数据分层到对象存储,打破了存储和计算之间的紧密耦合,使组织能够将大量数据卸载到成本更低的对象存储中。在后台,Lumada Data Optimizer for Hadoop 将数据无缝地移入和移出数据湖的热区和冷区,以提高效率并节省存储。
- 自动化获取更深入的洞察:一家领先的抵押贷款机构正在应用 DataOps 方法来应对其数据编目挑战。该机构每天都会从各种来源获取数据。该公司希望能够高效地预填充其数据湖所需的数据集属性,并通过基于 API 的自动化来提升处理效率。Lumada数据目录使该机构每天能够提取和编目超过 1000 万个文件,并提供完全可定制、可搜索的用户界面。该自动化解决方案使用有意义的、与业务相关的标准化标签来标记数据库、数据仓库和数据湖中的列,帮助业务用户无需执行多项手动任务,即可查看数据,获得更深入的洞察。
- 通过更便捷的访问推动更明智的决策:一家大型全国性电信运营商为数千万客户提供移动、互联网和电视服务,希望简化对其关键业务数据的访问,优化流程并改进业务决策。在这个充满活力的市场中,业务敏捷性至关重要。借助Lumada 数据集成和Lumada 分析,该公司已将 300GB 的数据聚合到单一平台上。更重要的是,它使数据更容易用于实时报告和分析。优化数据流程有助于降低成本,同时实现全天候数据访问自动化。现在,业务用户可以利用更智能的分析来支持更好的业务决策——所有这些都基于对公司服务运营的 360 度视图。
更多创新即将到来
日立不断增强和完善其 Pentaho 平台功能,以帮助创新型组织超越传统的孤立方法,迈向新的数据范式。技术、流程和人员的结合正在推动 DataOps 和这种新的创新方式。我们的先进技术非常强大,但这只是我们优势的一部分。我们还在日立集团公司和合作伙伴生态系统中拥有深厚的 IT 和 OT 专业知识。我们长期以来一直致力于帮助客户加强业务,同时为世界带来福祉。我们共同定制解决方案,满足特定需求,推动能够带来成功的创新。
欲了解更多信息,请参阅我们为何构建 Pentaho 平台套件和将数据货币化的五个步骤。
要了解有关日立如何帮助您释放 DataOps 可能性的更多信息,请注册我们即将举行的网络研讨会,访问我们的网站,或联系我们。
资料来源:
1:IDC FutureScape:2020 年全球云计算预测,文档编号 US44640719,2019 年 10 月
2: IDC,“IDC FutureScape:2021 年全球云计算预测”,文档编号 US46420120,2020 年 12 月