AI 推論如何重塑企業級基礎架構

資料中心團隊非常擅長解決熟悉的狀況，像是儲存空間中斷、預測失誤或更新延期週期。這些全在已知問題的範疇內，團隊也都有應對手冊可供遵循。

但 2026 年帶來完全不同類型的壓力。經過許多年後，企業 AI 投資幾乎完全集中在模型訓練上，產業已跨越門檻：目前定義 AI 基礎架構的工作負載並非建立模型，而是執行模型。每天都會持續大規模地執行模型。

從模型訓練轉向推論，象徵著 AI 從理論預測走向實際營運。核心挑戰不在於推論本身的技術難度，而在於多數架構團隊缺乏生產環境的部署經驗。當需求迫在眉睫時，業界的技術基準早已大幅演進。

訓練是一時的密集投入，推論則會持續不斷。

根據 Deloitte 資料顯示，AI 推論工作負載在 2025 年約佔所有 AI 運算的一半，預計 2026 年將達三分之二，較 2023 年的三分之一還要大幅成長許多。各家獨立分析也得出相同結論：推論佔生產級 AI 系統總生命週期成本 的 80-90%。其原因不在於單次請求價格昂貴，而在於系統必須持續不間斷地運行。

一旦部署模型正式上線，就會持續運作。訓練時的突發負載只是對資料中心造成短暫壓力，推論則會長久地重塑。任何一項新功能、工作流程自動化或嵌入式模型，都會拉高既有的基準線，而且永遠不會再調降。這是一套本質上截然不同的成本結構，也需要一種根本上完全不同的基礎架構模型。

為什麼 AI 推論正重返內部部署

早期企業 AI 依賴雲端，這很合理。但當推論走向生產階段時，以下幾點關鍵因素正同時改變著全局考量：低延遲需求要求運算就近進行、大規模運作導致成本急速增加，以及資料引力的再度顯現——相較於移動龐大、具備治理和監管要求的資料，移動運算顯然容易許多。

面對訓練、實驗和突發的容量需求，雲端仍然是正確的選擇。但對於生產級推論來說，混合架構並非過渡期的暫時作法，而是經過深思熟慮的架構布局。領先的團隊不會糾結於雲端或內部部署的抉擇，他們只會把工作負載放在最符合資料、延遲、治理和經濟效益的地方。而現在來看，那個地方往往就是內部部署。

推論不只是運算層面問題，也是資料層面的問題

一旦 AI 投入生產階段，運算並不一定是瓶頸，資料存取才是。

推論工作負載的特性是讀取密集、對延遲敏感的資料，同時依賴最新、受治理資料。模型並非在歷史快照上執行，而是在即時企業資料上執行，但這些資料目前所在的內部部署系統、受治理儲存庫、營運資料庫，設計時根本沒有考慮到 AI 管道。這就是問題真正的癥結點所在：不在於 GPU 叢集效能，而在於資料和模型所在之處之間的落差。

若將資料複製到獨立的管線，會增加延遲、影響治理，可能帶來難以擴充的複雜問題。在受到法規監管的行業裡，每次移動資料都是大事，必須符合法規規範。正確的答案是存取受到治理的資料，讓資料留在原本的內部部署位置，盡可能靠近需要資料運算資源。

支撐推論運作的控制平面和資料服務

現代推論之所以會失敗，問題不在於模型不能用，而是因為企業資料沒有依照推論工作流程的需要，做好開放、治理或觀測。隨著推論變成一項持續性的工作，越來越多交由代理程式來引導，模型就不能只靠靜態資料集來運作，需要即時的營運資料，必須在政策法規的規範下，比照基礎架構的規模反覆存取資料。

Hitachi Vantara 可從設計層面解決問題

在企業資料基礎架構中，Virtual Storage Platform (VSP) 360扮演著具備 AI 意識的控制平面角色，用來協調儲存空間、資料保護和平台服務的配置和運作，負責將這些服務開放給更高層級的系統使用。能確保資料基礎維持生產級推論每天都需要的一致性、效能和可用性。

在此基礎上，Hitachi IQ Studio 針對推論工作負載，提供支援 AI 的資料管理和協調服務。Hitachi IQ Studio 不需要把資料複製、暫存或同步到獨立管道中，而是做到由政策導向的企業資料就地存取，還能在資料提供給模型時，同步做好治理、血緣追蹤、品質控制和可觀測性。

STaaS 也非常符合推論時代的經濟效益。推論的角色就像公用事業一樣，一旦成為營運的一部分，就會緊密結合、難以刪減。這讓 I&O 團隊必須從固定、以專案為中心的心態，轉變成可持續優化的消費模式，採用管理經常性運算成本的做法，取代原本的資本支出管理。這正是由 Hitachi EverFlex 提供的 STaaS 建立的理想環境。

轉型後的資料中心

帶領這場轉型的團隊都有一個共同點：他們從原本的峰值規劃，改為基準線管理，從資產所有權，改成服務消費，並從偶發性短期專案，改成必須每天維持全天候運作的長青平台。

第一波企業 AI 浪潮看重的是快速訓練模型，下一波浪潮則是要把推論做好。代表每天都要進行大規模的運作，也必須使用受到良好治理、方便存取的資料，盡可能靠近運算資源。

這項轉變已經發生在所在環境當中。目前的問題只在於，基礎架構是否準備好應付這項挑戰。

進一步了解Hitachi Vantara 的 VSP One，這是一款為 AI 就緒基礎架構提供堅實基礎的資料儲存空間平台。