根据 Hitachi Vantara 的一份报告,随着企业竞相采用 AI,薄弱的数据基础正阻碍美国和加拿大超过半数(58%)的企业释放 AI 价值,并导致全球每年约 1080 亿美元的 AI 投资付诸东流。其原因很少在于模型表现不佳或缺乏雄心。
AI 模型依赖于互联且持续可用的数据。然而,许多企业仍在孤立的系统、不一致的元数据标准以及传统基础设施环境中运营。尽管企业持续大力投资生成式 AI、机器学习和高级分析,但许多企业仍难以将 AI 试点转化为可扩展的业务成果,因为支撑这些计划的数据基础尚未具备支持企业级规模应用的能力。
对于存储管理员和云架构师而言,这样的情景并不陌生:团队正被要求在碎片化的环境中推动 AI 落地,而这些环境并非为 AI 规模的数据移动、数据治理或工作负载部署而设计。
越来越多的研究印证了这一挑战。根据麦肯锡(McKinsey)的研究,仅有少数企业成功将 AI 扩展至企业级应用,而数据质量、数据治理和基础设施仍是 AI 落地的主要障碍。贝恩公司(Bain & Company)的研究也得出了相同结论:AI 成果取决于可信、可访问的数据以及完善的数据战略。未能满足这些条件的企业,往往会面临部署停滞、AI 输出不可靠、运营复杂性不断增加以及投资浪费等问题。
当依赖块存储处理性能敏感型交易的关键业务应用,与为 AI 流水线(依赖文件存储和对象存储)提供数据的数据交汇时,应用现代化和 AI 就绪能力便成为关键。
机遇在于:构建一个能够让块存储、文件存储和对象存储高效协同的数据基础。
阻碍 AI 发展的六大数据现代化挑战
1. 企业数据孤岛限制了数据访问
AI 依赖于对可信数据的广泛访问,然而大多数企业仍在横跨本地、云和边缘的碎片化环境中运营。数据现代化面临的挑战,在于如何连接彼此孤立的块存储、文件存储和对象存储环境,而无需进行破坏性的迁移,也不会形成新的数据孤岛。
互联数据使 AI 应用能够利用来自传统平台、云环境、应用程序和业务部门的数据,从而:
- 打破数据孤岛。AI 就绪型企业能够打通 ERP、CRM、运营系统、分析平台、云存储库和边缘环境中的数据。
- 实现数据流水线现代化。ETL、ELT、流处理和实时数据流水线有助于移动、转换并准备数据,以支持 AI 和机器学习工作流。
- 在混合环境中使用 API。API 驱动的集成有助于连接本地系统、公有云、SaaS 平台和分布式应用中的数据。
- 创建统一的数据层。Data Fabric(数据织构)、数据平台或统一数据层,可帮助团队持续一致地访问受治理的数据,而无需手动整合彼此割裂的数据源。
2. 性能需求已发生改变
可扩展的基础设施能够为 AI 工作负载提供大规模处理企业数据所需的存储、算力、性能和灵活性。当传统基础设施无法支持海量数据、高吞吐量数据流水线、混合云运营或 GPU 加速工作负载时,就会限制 AI 就绪能力。
AI 工作负载需要更高的吞吐量、更低的延迟,以及处理不断增长的非结构化数据的能力。
与传统企业应用不同,AI 流水线通常需要跨多个环境整合训练数据、推理、分析和检索。针对基于块存储的事务数据库优化的工作负载,对于业务应用固然至关重要;但 AI 流水线通常依赖文件存储和对象存储来支撑非结构化数据、训练数据集、模型检查点、检索工作流以及大规模分析。
挑战并不仅仅在于增加更多存储,而是在于根据性能、经济性和运营需求,确定每项工作负载和每种数据类型最适合运行的位置。企业应确保其数据基础能够:
3. 数据治理与数据主权拖慢了部署速度
数据治理是一套用于规范企业数据管理和使用方式的政策、数据所有权标准、访问控制和合规实践。随着企业不断扩大 AI 应用规模,数据治理的重要性不断提升,同时实施难度也越来越高。
在碎片化环境中,围绕数据沿袭、数据主权、安全、访问控制和合规性的挑战愈发复杂。对许多企业而言,问题已不再是“我们能否访问这些数据?”,而是“这些数据是否应该移动?”。健全的数据治理能够让企业在跨系统、跨团队和混合环境中安全地扩展对可信数据的访问能力,从而让企业数据真正服务于 AI。同时,数据现代化还能帮助企业提升数据来源、数据驻留、访问控制和法规遵循等方面的一致性,使团队能够更加高效、更加放心地推进业务。
为了避免部署受阻,企业应:
- 对企业数据进行分类和编目。数据目录、元数据管理和分类策略能够帮助用户了解有哪些数据、数据位于何处,以及如何使用这些数据。
- 通过可审计机制执行策略。AI 就绪型治理需要具备策略执行、 数据沿袭追踪 和审计追踪能力,使企业能够证明数据是如何被访问和使用的。
4. 运营复杂性带来额外阻力
过多的管理工具、彼此割裂的工作流以及大量人工流程都会拖慢团队效率。支持 AI 的基础设施团队需要把时间投入到推动创新,而不是一味维护复杂的运营环境。随着 AI 计划在混合环境中不断扩展,运营复杂性往往会与数据规模同步增长。IT 团队不得不花费大量时间在孤立工具之间协调、排查故障和处理日常运维工作,而不是推动创新项目和创造业务价值。简化运营并提升跨环境的可见性,有助于减少运营阻力,并释放更多资源投入更高价值的工作。
5. 成本模式需要更大的灵活性
实现 AI 现代化,并不意味着一定要把更多数据迁移到云端。在许多环境中,成功的关键在于根据成本、治理和性能需求,有策略地决定数据存放位置以及工作负载运行位置。
高性能 AI 训练可能需要高性能基础设施,而次级数据集、备份存储库或优先级较低的分析工作负载,则可能更适合部署在其他环境。目标在于实现灵活配置,而不是采用“一刀切”的部署模式。
6. 工作负载部署挑战
许多关于现代化的讨论都聚焦于数据迁移。然而,AI 就绪型现代化并非意味着迁移所有数据,而是在于有策略地部署工作负载。
存储和云团队正日益面临艰难的取舍:
- 哪些工作负载应基于性能或数据主权要求保留在本地部署?
- 哪些数据适合迁移至云环境?
- AI 推理应在哪里执行?
- 团队应如何平衡成本、治理与韧性?
AI 现代化需要在性能、治理、数据主权、经济性和运营简化之间取得平衡,而这些往往需要跨越原本并非为协同运作而设计的环境来实现。
基础设施团队 AI 现代化风险矩阵
如果现代化听起来充满风险,那是因为它确实如此。
存储和云团队负责支撑关键任务系统,因此停机、治理缺口或性能问题都会带来实质性的影响。然而,拒绝现代化同样会带来风险,尤其是在 AI 工作负载不断对基础设施提出新要求的情况下。
最成功的企业会采取务实的方法推进现代化,在迁移开始之前尽早识别风险,并减少实施过程中的阻力。
| 常见风险 | 发生概率 | 缓解策略 |
|---|---|---|
| 迁移期间应用停机 | 中 | 从非关键工作负载开始,测试故障切换,并分阶段实施迁移 |
| 性能下降 | 中 | 提前对工作负载进行基准测试,并验证工作负载部署要求 |
| 数据治理和数据主权缺口 | 高 | 在迁移前建立明确的数据沿袭、数据分类、数据驻留和访问控制策略 |
| 成本超支 | 中 | 按工作负载类型评估云端与本地部署的经济性 |
| 技能缺口 | 中 | 优先采用简化的管理工具,并加强跨职能培训 |
| 迁移后仍存在数据孤岛 | 高 | 建立跨环境的统一可见性,并标准化各项策略 |
现代化的目标并非第一天就做到尽善尽美,而是减少实施阻力,并构建能够支持未来各类工作负载(包括 AI)的数据环境。
构建 AI 就绪路线图与数据基础
AI 就绪型数据基础并非通过完成一系列既定步骤而建成,而是通过持续强化一组彼此相辅相成的能力来构建。企业无需试图一次解决所有挑战,而应专注于构建能够支撑 AI 在整个企业中可靠扩展的核心基础能力:
- 基础稳定性:稳定的数据基础依赖于跨系统的数据质量、数据治理和运营可见性。强化这一能力意味着减少数据不一致性、建立可信的数据所有权标准、统一元数据,并构建支撑企业级 AI 大规模扩展所需的数据治理框架。随着 AI 计划不断扩展,投资于这些基础数据实践的企业能够更有效地避免 AI 输出不可靠、合规风险以及 AI 应用碎片化等问题。
- 基础设施灵活性:AI 工作负载需要能够随需求灵活扩展的基础设施层。这项能力的核心在于实现跨混合云环境的集成、现代化传统存储系统、支持可扩展的数据访问,以及采用更灵活的基础设施消费模式。现代 AI 工作负载通常需要高性能存储、加速计算以及能够支撑大规模分布式数据处理的混合云架构。包括 Hitachi Vantara 与 NVIDIA 在内的技术合作,有助于企业构建支持 GPU 加速 AI 工作负载、分析以及企业级数据运营的基础设施环境。
- 企业级运营:在整个业务职能中实现 AI 运营化,意味着持续提升性能、治理、韧性和运营效率,而不仅仅是支持零散的试点项目。这项能力体现在对生产环境 AI 工作负载进行持续监控、优化、自动化以及生命周期管理。随着业务需求和数据环境不断演进,要持续支撑企业级规模运营,就需要持续投入于数据质量、数据治理、基础设施现代化以及运营一致性。
创新最强大的人工智能数据引擎
AI 的成功不仅需要更优秀的模型,更依赖于具备韧性、完善治理能力的基础设施,以支撑不断演进的工作负载、性能需求和合规要求。因此,AI 现代化的关键不在于企业迁移了多少数据,而在于是否能够有策略地在不同环境中部署工作负载。
换句话说,没有坚实的数据基础,这一切都无从实现。
借助 Hitachi Vantara 平台(包括覆盖块存储、文件存储、对象存储及软件定义存储的 VSP One 能力),企业能够实现数据基础现代化,同时提升灵活性、韧性、治理能力和运营简化水平。
了解 Hitachi Vantara 平台如何以可信且现代化的数据为基础,为您的 AI 未来提供强大动力。
Andy Gremett
Andy Gremett is Sr. Product Marketing Manager, Product Solutions Marketing, at Hitachi Vantara.