了解数据驱动型组织如何改变世界。

WATCH ON DEMAND
zh_cn

什么是 DataOps?全面解读数据运营。

什么是 DataOps?

数据运营 (DataOps) 是 AI 时代的企业数据管理。它将从 DevOps 中吸取的经验教训应用于数据管理和分析。有效部署 DataOps 已证明可以缩短分析解决方案的上市时间,改善数据质量和监管达标,并降低数据管理成本。

数据运营并非产品、服务或解决方案,而是一种方法,也即一项技术和文化变革,通过更好的协作和自动化来改善组织对于数据的使用。

什么是 DataOps 平台?

DataOps 不仅仅是独立的技术平台,也是一种方式、一种方法。这意味着将众多数据技术和实践整合到集成环境中。数据在该系统中顺畅流动,从数据源开始,经过数据提炼单元和数据存储库,流向数据使用位置,从而帮助您对业务产生积极影响。在此过程中,您的技术、流程和人员对于有效达成结果具有至关重要的作用。

什么是 DataOps 框架?

DataOps 框架将包括技术与全面文化变革在内的五项基本要素相结合。第一项要素为支持性技术(其中多项技术可能已在您的业务中发挥作用,包括 IT 自动化、数据管理工具),以及 AI 和机器学习 (ML)。第二项要素为自适应架构,能够随着主要技术、服务和流程的持续创新做出适当调整。第三项要素是数据丰富,将其置于有用的语境下进行准确分析。也就是指系统自动创建的智能元数据,通常在摄取时创建,以便为后续数据管道节约时间。第四项为 DataOps 方法,用于在数据治理和模型管理之后构建和部署分析和数据管道。

DataOps 框架的第五项要素重要性最高,难度也最大,即文化和人员。要发挥 DataOps 的潜力,您必须在 IT 和云运营、数据架构和工程团队以及数据使用者(如数据分析师和数据科学家)之间建立或形成协作文化。惟其如此,DataOps 才能在恰当的时间将正确的数据置于适合的位置,从而培养真正的业务价值。

什么是 DataOps 架构?

由于数据要求和数据使用量快速持续地发生变化,DataOps 架构需要具备超高适应力。随着业务优先级和市场条件的变化,企业数据使用者(数据分析师、数据科学家和业务经理)会新增或调整需求。适应性架构能够接受这些变化并做出相应调整,使每个环节的数据流和质量洞察都得到改善。

成功的 DataOps 架构可在公司范围内提供支持并要求协同工作。数据消费者在为其业务计划获取数据和洞察时,必须能够快速构建和调整数据及其所在数据管道。相应架构必须使这些数据运营尽可能简易便捷,以促进其采用及业务智能化。

如何实施 DataOps?

可以想见,这项任务事关重大,我们为此列出六大要点,您可以参照这些步骤着手挖掘直至充分发挥数据潜能。首先,评估和调整技术组合以消除冗余,并统合团队内部控制。其次,在团队之间进行整合,以鼓励分享并减少妨碍协作的不一致性。第三,在整个团队和数据管道中集成 DataOps 实践。这一阶段往往会遇到困难,因为相互协作要求员工采用不熟悉的流程,还要求他们对先前不曾合作过的其他团队给予信任。

进行到第四步,人员优化完毕之后应当是流程的自动化,以使数据管道更加高效,数据运营更加有效。万事俱备,仍需迈出最后一步。第五步也就是最后一步是让数据使用者能够自我服务,数据在此迅速转化为信息和洞察,将 DataOps 的全部能量充分释放,这项技术对于整个组织的意义不言自明。谨记还应重新审视数据运营的每个组成部分,细致考量各项流程,以便继续改进、调整和升级,让您的洞察始终为企业注入无限动力。

什么是 DataOps 工具?

企业实现 DataOps 有赖于一系列广泛的技术和流程,包括数据管理技术(数据目录、数据虚拟化、数据管道、AI 模型管理)以及版本控制、测试自动化、部署自动化和发布管理技术,还有运行时协调乃至协同工作。测试和部署自动化利用 AI 和 ML 来支持流程和工作流,帮助您避免手动配置。您需要依靠相应技术来降低互操作性的障碍。无论是将技术集成到单一基础中,还是形成可互操作技术的集合,您都希望这些技术能够跨我们当前和预期的所有数据环境(本地、云、多云和混合)发挥作用。

智能元数据至关重要。您可以将智能化技术与 AI 和 ML 广泛结合,供智能元数据用于改进推断。在摄取时自动创建元数据,在运行时自动检测元数据,并相应地标记数据对象,可为您显著减少团队的手动操作。因此,您可以快速推进数据管道的开发,并为团队的采用和有效分析提速。

如何定义 DataOps 工程师?

DataOps 是一种以协作为核心的方法论和心理态度。单凭某位工程师或任何其他角色的一己之力,无法推动 DataOps 取得成功。公司的协作从 IT 员工延伸到数据专家,再到数据使用者。各自为战的思维和领域将逐渐融合为跨团队协作,令数据属于整个公司的理念深入人心。

这并非是指个人技能会逐渐渗透至公司级活动,但确实意味着团队开始以不同方式运用现有技能。数据工程、数据质量、数据分析、数据科学和数据管理仍需各司其职、各展所长,它们现在可以帮助您的 DataOps 基础架构为数据使用者提供数据,也即数据和业务分析师。通过 DataOps,他们可以提高自己快速浏览数据的能力。数据专员的角色发生转变,如今需要维护数据质量并增强元数据。当然还有数据工程师,他们引入数据并发现有待弥合的数据缺口。此外,IT 和运营人员则负责维护和优化数据运营。

什么是“DataOps 即服务”?

DataOps 是一种方法,因此并非以存储即服务 (SaaS) 形式提供的产品。但 SaaS 可以作为 DataOps 实践的一部分,在整个组织中添加微服务、业务流程和数据流管理。SaaS 交付模型还为您提供所需的一些必备 DataOps 工具。

目前哪些企业在实施 DataOps?

简单说来,目前尚无能够完全发挥 DataOps全部潜力的企业,对这项方法不断改进的需求在业内始终存在。换言之,也总有一些企业敢为人先,通常是拥有大型 DevOps 团队的高科技公司,他们目前同时支持 DataOps 计划。但从更广泛的意义上来说,许多组织可能已经实行某种形式的 DataOps,只是并未意识到,或是未采用这种说法。数据灵敏性计划通常密切配合 DataOps 计划来实施。

这里要快速补充的一点是,DataOps 实践已深植于我们的业务当中。例如,我们使用对象存储和 Pentaho 将企业分析、报告和 IoT 平台搭建于数据湖架构之上,因此提高了效率,降低了运营成本并带来新的商机。我们在数据分析运营方面实现了 30% 的改善,数据质量和一致性提高 50% 以上,并将平台运营成本降低 20%。这就是我们所称的“DataOps 优势”。

DataOps 与 DevOps 有何异同?

DataOps 是比 DevOps 外延更广的新概念。与 DevOps 类似,DataOps 可以自动化、简化并依赖团队和部门之间的全新协作。DevOps 在 IT 内部开发和运营部门之间建立协作,DataOps 则从 IT 到数据专家再到数据消费者,在整个企业范围构建协作并要求进行协作。DevOps 可提高 IT 效率,DataOps 让整个公司更加卓有成效。

在 DevOps 和 DataOps 中,企业都会从头到尾重新思考整个问题,包括所有目标。DevOps 扩展了问题的范围,不会将开发 (Dev) 问题或运营 (Ops) 问题分而治之,而是综合作为 DevOps 问题来看待。DataOps 秉承同样的思路,考虑的是组织从创建到使用的数据流。但由于整个组织都依赖数据,DataOps 影响的群体要大得多,相较之下也更为复杂。在 DevOps 中往往会用到输送管道(代码执行),而在 DataOps 中则借由生产部署和数据管道来训练数据模型和执行数据流。您需要不断调整、改进和衡量所有这些环节。

DATAOPS 有那些优势?

451 Research 最近的研究“DataOps:灵敏性、安全性和转型变革的基础”从已使用 DataOps 方法的公司获取了一些重要的洞察,报告最后得出以下结论:

  • 虽然 DataOps 的概念与运营效率相关度最高,但这些效率提升不仅与灵敏性有关,还与安全性和转型变革有关。
  • 已实施 DataOps 的公司绝大多数一致认为,这项技术对其组织产生了积极的影响,尽管提高灵敏性和效率与 DataOps 密切相关,但最重要的驱动因素、优先事项和优势实际上与安全性和合规性相关。
  • 那些采用 DataOps 的企业在向云计算过渡及执行数字化转型战略方面先人一步,因此更有条件获得压倒对手的竞争优势。
  • 此外,DataOps 早期采用者已经从先前的耕耘中获得重要收获,如今得以更进一步,加倍投资于产品和服务以及流程和组织变革。
  • 因此,调查结果强化了我们的观点,DataOps 作为主流术语现今尽管仍然相对不为人所知,但预计在未来几年将对更广泛的市场产生越来越大的影响。
哪些企业是 DataOps 企业?

Hitachi Vantara 归入此类当之无愧。我们在自己的业务中开 DataOps 之先并推动其发展,并与客户及合作伙伴共同构建和优化他们的 DataOps。凭借近 110 年的运营技术和超过 60 年的 IT 经验,Hitachi 在 DataOps 领域积累了傲视同侪的深厚经验。

我们通过一系列产品和服务支持我们所称的“数据价值阶梯”(即 SEAM),使客户得以实现其 DataOps 优势。这些产品和服务为客户带来以下功能:

存储:跨边缘、私有、混合和多云解决方案,以最低成本和适当的服务级别存储、管理及保护数据。
丰富:通过元数据分类和编目丰富数据,为智能数据管理和治理提供背景。
激活:发现、集成和协调企业数据资产,并利用分析为每个企业交互和应用程序生成可操作的洞察。
变现:提供可获取客户企业内外所有数据的全部经济价值的成果。

归根结底,客户选择 Hitachi Vantara 至关重要,我们作为合作伙伴将与客户共同创新,致力于成功实现客户的愿景。这意味着我们始终以他们想要推动的业务成果为起点。我们将这种方法与我们独有的行业专业知识相结合,并实施集成系统,以最大化 SEAM 每个步骤的数据价值。每一步的非凡表现都为再上新台阶奠定基础,协助客户从蹒跚学步到步履轻捷再到健步如飞,迅速迈向数字化成熟度目标,并获得真正的 DataOps 优势。

zh