當企業將 AI 部署從核心機房延伸到邊緣端,破碎的系統和不成熟的資料治理,正阻礙著多數組織的進展。面對異質的工作負載,一體適用的傳統架構已無法解決問題。若 AI 藍圖超出儲存空間能力的負荷,真正關鍵不在於擴充容量,而是如何將最適切的架構,精準配置於 AI 生命週期的正確階段。
雖然這對某些人來說,可能代表必須在共用和非共用架構之間二選一;但真正理想的產品組合,是能同時善用這兩者優勢的彈性配置。
並非所有的 AI 工作負載都一模一樣
AI 流程並非單一的單體式程序。這是一趟從海量資料擷取、模型訓練,一路延伸至即時推論和在地化執行的旅程。每階段對組織的基礎架構,都有著截然不同的要求:
- 模型訓練(核心):這需要大規模的平行處理和單一真實來源。在此,全共用儲存空間仍是經驗證的架構首選,能確保數千個 GPU 同時存取相同資料集。這不僅省去資料分片的額外負擔,更能有效防止 I/O 飢餓,維持運算資源的高利用率。
- 即時推論(邊緣端):模型訓練完成後,必須部署在資料產生的前端。這正是「無共用架構」的優勢所在。藉由讓每個節點配置專屬的 CPU、記憶體和儲存空間,能將網路協調開銷降至最低,實現次毫秒級的極速回應,全面支援即時詐欺偵測、自主系統,或個人化客戶互動。
一體適用架構的代價
如果組織試圖在整個生命週期中強制推行單一架構,將會帶來什麼後果?這些成本往往隱而未現,直到直接衝擊公司的損益時,才會被察覺:
- 浪費的 GPU 支出: 若在核心階段完全依賴無共用架構,表示 GPU 耗費在等待資料分片和同步的時間將高於實際處理時間。在 GPU 資源極其珍貴的當下,這種 I/O 等待本質上就是一種燒錢的行為。
- 「愚鈍」的邊緣節點(或「失智」的邊緣):相反地,若在邊緣推論時過度依賴集中式的共用儲存空間,將會造成單一故障點。一旦通往核心端的網路連線發生閃斷,即時 AI 系統就會隨之癱瘓。這將導致邊緣節點,因無法獨立運作而失去智慧功能,造成錯失商機、營運中斷。
- 架構債:在錯誤的基礎上擴展 AI,會導致日後必須付出高昂代價進行全面升級。當團隊意識到既有架構無法處理高並行性時,應用程式往往早已圍繞著該架構建構完畢。
雙架構的力量
依賴能同時提供無共用和全共用架構的單一供應商,可帶來超越單純硬體規格的策略優勢。
1. 特定工作負載的最佳化
藉由在核心階段採用全共用儲存空間進行訓練,可於在地化微服務或 NoSQL 資料庫中運用無共用儲存空間,您將能在每個層級,將效能發揮至極致。這種混合架構能讓您建構出高效能的資料湖倉,將儲存空間的簡便性、橫向擴充的運算能力完美結合。
2. 可預測的擴充性和韌性
無共用設計能讓容量和效能隨著邊緣端進行線性擴充。一旦在無共用環境中發生節點故障,該故障將被自動隔離,透過自動化復原機制,確保整體環境不受影響。
3. 營運靈活性
雙架構方法能有效避免全面升級的陷阱。您可以在專案初期,先在通用硬體上獨立部署無共用架構;隨著後設資料管理變得愈加複雜,再逐步過渡到共用陣列。正如 CDW 在混合雲儲存空間優勢概述中指出,這種彈性正符合更廣泛的混合雲儲存空間優勢,能全面兼顧可存取性、安全性和成本效益。
全共用、無共用架構的實務應用層面
想像一間全球零售商正利用 AI 來徹底顛覆購物體驗。在他們的轉型旅程中,需要兩種截然不同的架構優勢來共同支撐:
1. 在核心端(全共用儲存空間): 該零售商在中央資料湖中,彙總數十億筆歷史交易和客戶行為的資料點。他們採用 VSP One 區塊和檔案儲存空間,為訓練複雜推薦引擎的大型 GPU 叢集提供強大支援。由於資料集已完全統一,GPU 能將時間專注於處理資料,無需耗費時間等待資料移動或同步。
2. 在邊緣端(無共用儲存空間): 模型訓練完成後,會被推送至數千家獨立的分店。每家分店皆在 VSP One SDS 軟體定義儲存空間,執行在地端的執行個體。當客戶走進店內時,系統會直接在本地端處理即時視訊串流、感測器資料,提供即時庫存警示和個人化行動優惠。即使和總部的網路連線中斷,分店依然能維持智慧運作,因為無共用架構能提供完整的在地自主性。
VSP One 如何協助 AI 旅程
Hitachi Virtual Storage Platform One (VSP One) 產品組合專為串聯這兩種截然不同的架構而設計,讓您能針對特定工作負載部署最合適的工具:
- VSP One SDS 軟體定義儲存: 此產品將無共用原則完美應用於通用和混合雲環境中。這對於即時推論、邊緣運算和關鍵任務型的故障隔離而言,是極為理想的選擇;在這樣的環境下,節點層級的自主性能確保本地端故障絕不影響全域的資料可用性。
- VSP One Object:AI 資料湖的基礎。提供擷取和儲存空間推動模型開發大量非結構化資料所需的龐大、具成本效益的擴充性。
- VSP One 檔案和區塊:這些產品提供強大、低延遲的共用層,能完美支援模型訓練的繁重工作負載。特別是 VSP One 檔案儲存空間,在提供現代 AI 架構要求的高吞吐量存取方面,表現尤其卓越。
- VSP 360:作為營運的核心大腦,VSP 360 能在全共用、無共用部署環境中,提供統一管理和 AIOps 驅動的深入洞察力,為整個混合雲資產,打造單一整合管理介面。
架構決定 AI 成果
限制規模化 AI 的儲存空間挑戰是架構問題,而非漸進式問題。成功需要具備彈性,能在需要一致性時部署共用儲存空間,並在需要速度與自主性時部署無共用儲存空間。
準備好評估適用於您環境的正確架構了嗎?深入了解 VSP One 產品組合,其為 AI 和資料庫提供真正的無共用區塊架構。
Andy Gremett
Andy Gremett is Sr. Product Marketing Manager, Product Solutions Marketing, at Hitachi Vantara.