所有博客文章

AI 推理如何重塑企业基础设施

Sunitha Rao and Nick Loy
Sunitha Rao, GM of Hybrid Cloud and SDS, Hitachi Vantara Nick Loy, Intelligent Automation Practice Principal

2026 年 6 月 30 日


数据中心团队擅长应对存储中断、容量预测偏差以及硬件更新周期延迟等常见问题。这些都是已知问题,团队也都有成熟的应对方案。

但 2026 年带来了截然不同的压力。经过多年几乎全部集中于模型训练的企业 AI 投资后,行业已经迈过了一个关键拐点:如今定义 AI 基础设施的核心工作负载,不再是构建模型,而是运行模型——持续运行、规模化运行,而且每天如此。

从模型训练转向模型推理,已经不再是趋势预测,而是运营现实。真正的挑战并非推理比训练更困难,而是大多数基础设施团队尚未真正承担生产环境中的推理工作。等他们开始面对时,行业基准早已发生改变。

训练是阶段性的,推理却是持续性的。

据德勤 (Deloitte) 统计,2025 年推理工作负载约占全部 AI 算力需求的一半,预计到 2026 年将提升至三分之二,而这一比例在 2023 年仅为三分之一。多项独立研究一致表明,在生产环境中,AI 推理可能占整个 AI 系统生命周期总成本的 80% 至 90%。原因并非单次推理请求成本高昂,而是系统需要持续不断地运行。

模型一旦部署,就需要持续运行。模型训练会阶段性地给数据中心带来压力,而模型推理则会永久改变数据中心的运行方式。每增加一个新功能、一个自动化工作流或一个嵌入式模型,基础负载都会随之提高,而且不会再降回原来的水平。这是一种完全不同的成本结构,因此也需要完全不同的基础设施模式。

为什么 AI 推理正在推动 AI 回归本地部署

早期企业 AI 主要部署于云端,这在当时是合理的。但随着推理进入生产环境,多项因素正在同时改变这一局面:低延迟要求计算资源靠近数据;规模扩大后成本迅速累积;而数据引力效应再次凸显——相比迁移海量、受治理或受监管的数据,迁移计算资源要容易得多。

对于模型训练、实验以及突发算力需求而言,云仍然是最佳选择。但对于生产级推理来说,混合云已不再是过渡阶段,而是一种有意识的架构选择。领先企业并非在云端与本地部署之间二选一,而是依据数据位置、延迟要求、治理需求和成本效益来部署工作负载。而越来越多情况下,最佳位置就是本地部署。

推理不仅是算力问题,更是数据问题

一旦 AI 进入生产环境,瓶颈往往不再是算力,而是数据访问。

推理工作负载具有读取密集、对延迟敏感,并依赖最新且受治理数据的特点。模型并不是基于历史数据快照运行,而是依赖存放于本地系统、受治理的数据存储库以及原本并非为 AI 流水线设计的运营数据库中的实时企业数据。真正的瓶颈并不在 GPU 集群,而是在数据所在的位置与模型需要访问数据的位置之间存在的鸿沟。

将数据复制到独立的数据流水线中,不仅会增加延迟,还会带来治理风险,并引入难以扩展的复杂性。在受监管行业,每一次数据迁移都意味着一次合规事件。更合理的方式,是在数据原本所在的位置,以受治理的方式直接访问数据——即在本地部署环境中,让数据尽可能靠近需要它的计算资源。

AI 推理所需的控制平面与数据服务

现代 AI 推理失败,并非因为模型不可用,而是因为企业数据无法按照推理工作流所需的方式进行开放、治理或可观测。随着推理逐渐演变为持续运行、并越来越多地由 AI 智能体驱动,模型已不再依赖静态数据集,而是依赖实时运营数据,并需要在策略约束下、以基础设施级规模持续反复访问这些数据。

Hitachi Vantara 通过架构设计解决这一问题

Virtual Storage Platform (VSP) 360 作为企业数据基础设施的 AI 感知控制平面,负责协调存储、数据保护及平台服务的配置、运行,以及向上层系统提供这些服务。它确保数据基础持续提供生产级 AI 推理日常运行所需的一致性、性能和可用性。

在此基础上,Hitachi IQ Studio 提供 AI 驱动的数据管理与编排服务,供推理工作负载使用。Hitachi IQ Studio 无需将数据复制、暂存或同步到独立的数据流水线,而是支持基于策略对企业数据进行原位访问,并在数据提供给模型的过程中实施数据治理、数据沿袭、质量控制和可观测性。

STaaS(Storage as a Service,存储即服务)同样契合推理时代的经济模式。推理就像公用事业服务一样,一旦成为运营的一部分,便会深度融入业务流程,难以再缩减。它迫使基础设施与运营(I&O)团队从固定、以项目为中心的思维模式,转向持续优化的按需消费模式,以持续管理计算成本取代一次性的资本支出管理。这正是通过Hitachi EverFlex 提供的 STaaS 所针对的应用场景。

这一转变之后的数据中心

引领这一转型的团队都呈现出一致的特征:从峰值容量规划转向基准负载管理;从拥有资产转向消费服务;从一次性的项目建设转向每天都必须稳定运行的持续运营平台。

企业 AI 的第一波浪潮关注的是快速训练模型;而下一波浪潮关注的是如何每天稳定、大规模地运行 AI 推理,并确保所使用的数据经过治理、易于访问,并尽可能靠近所需的计算资源。

它已经存在于您的环境之中。真正的问题在于,您的基础设施是否已经准备好支撑它。

进一步了解 Hitachi Vantara 的 VSP One,这是一款为 AI 就绪型基础设施奠定基础的数据存储平台。


Sunitha Rao

Sunitha Rao

Sunitha Rao is General Manager, Hybrid Cloud & SDS Storage, at Hitachi Vantara, responsible for shaping future strategy, bridging on-premises and cloud infrastructure to enhance agility, cost efficiency and enterprise innovation.


Nick Loy

Nick Loy

Nick Loy joined Hitachi Vantara in 2021. He currently manages go-to-market strategy for the Intelligent Automation practice, concentrating on hyperautomation, business process and IT automation. Nick is a frequent speaker at conferences and events on topics including AI, hybrid cloud and business process automation.