随着企业将 AI 计划从核心数据中心扩展到边缘,许多组织都受到薄弱的数据实践和分散系统的阻碍。对于需求截然不同的工作负载,试图采用“一刀切”的架构方法已不再是可行的解决方案。如果您的 AI 发展目标已经超出现有存储能力,解决方案并非只是增加更多容量,而是为 AI 生命周期的不同阶段匹配合适的架构。
对于一些组织而言,这可能意味着要在全共享架构和无共享架构之间进行选择,但真正合适的产品组合应能充分发挥两种架构的优势。
并非所有 AI 工作负载都有相同的需求
AI 流程并非单一的整体流程,而是一个从海量数据摄取和模型训练,到实时推理和本地化操作的完整过程。每个阶段对组织的基础设施都有不同的要求:
- 模型训练(核心):这需要大规模并行处理和单一可信数据源。在此,共享存储(即全共享架构)仍是经过验证的架构选择。它可以确保数千个 GPU 同时访问同一数据集,而无需承担数据分片带来的开销,从而避免 I/O 资源不足,并保持计算资源的高利用率。
- 实时推理(边缘):模型训练完成后,需要将其部署到数据生成的位置。这正是无共享架构的优势所在。通过为每个节点配备独立的 CPU、内存和存储,可最大限度减少网络协调,从而实现实时欺诈检测、自主系统或个性化客户互动所需的亚毫秒级响应能力。
“一刀切”架构的代价
当组织试图在整个生命周期中强行采用单一架构时,会发生什么?相关成本往往隐藏很深,直到影响企业利润时才会显现:
- GPU 支出浪费:在核心完全依赖无共享架构,意味着 GPU 等待数据分片和同步的时间甚至超过实际处理数据的时间。由于目前 GPU 使用成本高昂,这种 I/O 等待实际上就是在浪费资金。
- “不智能”的边缘:相反,依赖集中式共享存储进行边缘推理会形成单点故障。如果连接核心的网络链路出现短暂中断,实时 AI 就会停止运行。这会形成无法自主运行的“不智能”站点,导致错失机会和业务停机。
- 架构债务:在错误的基础上扩展 AI,会导致日后需要进行成本高昂的整体更换。等到团队意识到该架构无法满足并发需求时,应用程序往往已经围绕该架构构建完成。
双架构策略的优势
选择能够同时提供无共享架构和全共享架构的单一供应商,可获得超越单纯硬件规格的战略优势。
1. 针对特定工作负载进行优化
通过在核心使用共享存储进行训练,并为本地化微服务或 NoSQL 数据库采用无共享架构,您可以优化每一层的性能。这种混合方式使您能够构建高效的数据湖仓,将存储的简便性与横向扩展计算相结合。
2. 可预测的扩展能力和韧性
无共享设计可让容量和性能在边缘实现线性扩展。如果无共享环境中的某个节点发生故障,该故障会被隔离,而自动化恢复可确保整体环境不受影响。
3. 运维灵活性
双架构方法可避免陷入整体更换的升级陷阱。对于早期项目,您可以先在商用硬件上进行独立的无共享部署,并随着元数据管理日益复杂,再过渡到共享阵列。正如 CDW 在其混合云存储优势概述中指出的那样,这种灵活性也与混合云存储在可访问性、安全性和成本效益方面的广泛优势相契合。
全共享架构和无共享架构的实际应用
以一家利用 AI 彻底改变购物体验的全球零售商为例。其 AI 应用过程需要发挥两种截然不同的架构优势:
1. 在核心(共享存储):该零售商在中央数据湖中汇总数十亿条历史交易和客户行为数据。他们使用 VSP One Block 和 File 存储为庞大的 GPU 集群提供数据,以训练复杂的推荐引擎。由于数据集已经统一,GPU 可以将时间用于处理数据,而不是等待数据移动或同步。
2. 在边缘(无共享):模型训练完成后,会被推送至数千家门店。每家门店都在 VSP One SDS 上运行自己的本地化实例。当客户走进门店时,系统会在本地处理实时视频流和传感器数据,以提供实时库存提醒和个性化移动端优惠。即使与总部的网络连接中断,门店仍能保持智能运行,因为无共享架构赋予其完全的本地自主运行能力。
VSP One 如何编排 AI 全流程
Hitachi Virtual Storage Platform One (VSP One) 产品组合专为连接这两种架构而设计,让您能够针对具体任务部署合适的工具:
- VSP One SDS (软件定义存储):它在商用 x86 和混合云环境中采用无共享架构原则,是实时推理、边缘计算和关键任务故障隔离的理想选择。节点级自主运行能力可确保本地故障不会影响全局数据可用性。
- VSP One Object:AI 数据湖的基础。它提供大规模且经济高效的可扩展能力,可满足摄取和存储推动模型开发的海量非结构化数据的需求。
- VSP One File 和 Block:二者提供高性能、低延迟的共享层,能够满足模型训练中高强度处理任务的需求。尤其是 VSP One File,能够出色地提供现代 AI 框架所需的高吞吐量访问能力。
- VSP 360:作为整个运维体系的“大脑”,VSP 360 可跨共享和无共享部署提供统一管理和 AIOps 驱动的洞察,为您的整个混合云基础设施环境提供统一管理界面。
架构决定 AI 成果
制约 AI 规模化发展的存储挑战在于架构,而非简单的增量扩展。要取得成功,需要具备足够的灵活性,在需要一致性的场景部署共享存储,在需要速度和自主运行能力的场景部署无共享存储。
准备好评估适合您环境的架构了吗?深入了解 VSP One 产品组合,它为 AI 和数据库提供真正的无共享块存储架构。
Andy Gremett
Andy Gremett is Sr. Product Marketing Manager, Product Solutions Marketing, at Hitachi Vantara.