CTO 必備知識：關於現代化 AI 儲存空間

隨著企業將 AI 計畫從實驗階段擴大規模至生產環境，儲存空間已成為最常見、最昂貴的瓶頸之一，這讓技術長面臨到關鍵的架構挑戰。儘管企業持續擴大對 GPU 運算的投資，但研究一致顯示，GPU 之外的基礎架構效率低下，才是造成大部分資源浪費的主因。

轉向大容量、即時資料管道的趨勢，要求儲存空間基礎架構不只應具備卓越的吞吐量、低延遲，更需兼顧營運簡便性、永續性，還有可預測的成本控制。換言之：資料更快速、狀況更少，也能減少向財務主管解釋預算超支的時間！

一項 針對 400 多個生產環境深度學習作業的 Microsoft 分析指出，GPU 平均利用率僅為 50% 或更低，有將近一半的低利用率是由 I/O、預處理，以及資料移動等資料運算導致，並非模型設計。在大型 Kubernetes AI 叢集中，實際利用率通常會降至 15%–25%，代表實質上有將近 60%–70% 的 GPU 預算會浪費在等待基礎架構趕進度。

現代化不再是週而復始的硬體汰換周期，而是針對組織長期 AI 就緒能力的戰略性投資。對於技術長而言，這能重新定義儲存空間技術的對話視角：資料管線中出現任何瓶頸，都將直接導致 GPU 閒置、訓練週期延長，還有 $/token 成本攀升。

AI 工作負載揭示傳統儲存空間架構的局限性

AI 訓練、推論對資料的需求極大。Google 和 Microsoft 的研究顯示，高達 70% 的模型訓練時間可能會耗費在 I/O、移動資料上。表示旨在極速運行的加速器，經常因等待資料而陷入停滯狀態。

與此同時，餵送至以上管線的資料量和複雜度呈現爆炸式成長。非結構化資料 目前約佔企業資料的 80% 至 90%，在影像、影片、感測器資料及多模態 AI 輸入的推動下，成長速度較結構化資料集快上 4 倍。

傳統儲存空間平台專為可預測的交易型工作負載而設計。若要求其維持每秒數百 GiB 的平行吞吐量，同時具備亞毫秒級延遲，充其量是過於樂觀。最糟的情況則可能會導致永無止境的效能調優、脆弱的變通方案，還有只有單一研發人員能真正理解的基礎設施，那個人很可能還在休假。

以下說明次世代儲存空間技術如何影響企業盈虧：

1. GPU 工作負載自動最佳化：當儲存空間效能維持在 400–650+ GiB/s 時，GPU 閒置時間將縮短，提高單位成本的 Token 產出量 ($/token)，還可減少訓練的牆鐘時間。
2. 消除舊版系統的「效能稅」：減少手動調優和檢查點瓶頸，就能降低工程阻力，避免在傳統陣列上採取昂貴的權宜之計。
3. 支援混合 AI 流水線的多通訊協定功能： 滿足推論所需的亞毫秒級延遲和高 IOPS 需求，同時維持訓練吞吐量，讓資料科學、MLOps 和產品團隊都能同步向前邁進。
4. 為精簡工程團隊簡化營運：減少調優儲存空間設備、排除不穩定因素的時間，表示能將更多精力投入在提升營收的模型，或是產品計畫中，這也反映出結構化工作負載對基礎設施支出日益增加的壓力。

AI 資料成長並非線性增長。現代平台支援採漸進式增長，擴充並無中斷，這表示您無需規劃人人畏懼的遷移專案，預算難以精準掌控，即可實現規模增長。

為何現代儲存空間能直接改善 AI 經濟效益

現代 AI 儲存不只能提升效能，更能解決失衡的經濟效益問題。

具備維持 400–650+ GiB/s 效能的高效能平台，能持續供應 GPU 資料需求、縮短訓練時程，大幅減少閒置時間。鑑於 46% 的 GPU 利用率不足和資料操作相關，提高儲存空間效能帶來的效益，將遠超預期。

從財務角度來看，這一點很重要。雲端、地端設備的停機時間，包括儲存空間設備導致的效能降低，目前平均每分鐘損失高達 8,600 至 14,000 美元。大型企業在發生關鍵停機或效能下降事件時，損失經常每小時超過 100 萬美元。儲存空間設備的不穩定會延長訓練週期、延遲產品發佈，迫使企業過度配置運算資源，以求補償效率低下，加劇這些損失。

如 VSP One 的現代架構藉由消除手動調優、脆弱的權宜措施，還有容易出錯的複雜性，大幅減輕這類「效能稅」負擔。結果是讓基礎設施在壓力下仍能表現穩定，這恰好是基礎設施發揮價值的關鍵時刻。

彈性擴充現已是企業的必備需求，而非只是基礎設施的功能特色

AI 資料的成長並非呈線性增長。企業經常面臨由新模型、新模態或 RAG 和向量搜尋等新應用驅動的突發資料劇增。針對企業 IT 主管調查顯示，有超過 98% 的主管正積極增加針對 AI 的資料技術投資，通常是在整體 IT 預算未隨之調整的情況下進行。

現代儲存空間平台支援漸進式擴充方式，服務不中斷，讓組織能獨立於運算資源之外，擴增容量和吞吐量。這種解耦架構能避免購買閒置的 GPU，或是低利用率的儲存層，改善單位經濟效益，同時避開與大規模硬體汰換相關的高昂停機成本。

鑑於目前每年有超過 58% 的組織面臨停機事件，中位修復時間超過一小時，消除具破壞性的擴充事件，對於營收、企業聲譽都具有直接影響力。

以下是現代儲存空間平台如何實現彈性擴充：

1. 處理非線性、多模態的資料劇增：彈性成長能吸收非結構化、多模態資料的激增，兩年內成長約 87%，無需進行會耗盡預算、延誤時程的大規模硬體汰換
2. 漸進式、零停機擴充：橫向擴充不中斷，能防止高昂的停機損失，避免這些損失累積成營收流失，造成聲譽受損。
3. 分別擴充運算、儲存空間：解耦架構讓您只購買指定資源，隨資料增長能擴充儲存空間，無需為閒置的運算資源付費（反之亦然），還可在資料集激增時，改善單位經濟效益。
4. 無縫導入全新 AI 應用：由於儲存空間不再是瓶頸，AI 帶動磁碟市場年均複合成長率 (CAGR) 超過 20%，您可以快速建立 RAG 或向量應用程式，掌握市場先機。

效率、永續發展現已成為核心架構指標

CTO 正日益在創新、環境責任與財政管理之間尋求平衡。電力——而非佔地空間——正迅速成為 AI 資料中心的限制因素。根據皮尤研究中心的資料，美國資料中心在 2024 年消耗1,830 億度 (TWh) 電力，佔該國總耗電量的 4%。預計到 2030 年，此數字將成長至 133%，達到 4,260 億度。

現代儲存空間現代化會透過極大化密度、壓縮資料的佔用空間，再透過兩大方式降低電力需求，支援環保目標：

• 具備成本治理能力的保證資料減量：諸如 4:1 保證資料減量等功能，讓儲存空間規劃能從被動反應，轉向可預測。隨著模型規模、擷取流水線及資料保留需求日益增加，這能為長期 AI 計畫提供穩定的成本基準。
• 高密度 NVMe SSD 縮減空間、電力與冷卻需求：透過 60TB NVMe SSD 等組件，組織能將基礎設施整合至更少的機架中，同時降低能源消耗、空間需求。

透過提升每瓦效能，現代 NVMe 儲存架構可確保將電力預算用於實質產出，而非耗費在閒置的基礎架構上。

統一管理降低混合式 AI 環境的隱形成本

大多數具備 AI 能力的基礎架構橫跨地端系統、公有雲服務與邊緣環境。業界資料顯示，超過 80% 的企業採用混合雲或多雲架構，有將近半數的工作負載分佈於以上環境。管理上述分散式架構可能會增加複雜性，進而推升營運成本。若缺乏統一的儲存空間管理，營運複雜度將迅速成為成本倍增的推手。

以下是簡化混合雲管理，通常能帶來的成本節省措施：

1. 統一作業系統：跨儲存陣列的通用作業系統，能減少培訓需求、加速故障排除，提升整體資料資產的可觀察性。
2. 跨陣列通用作業系統減少環境破碎化：單一、統一的作業系統提供集中化可觀察性、一致的 API 行為，還有流暢的生命週期管理。這能降低營運亂度、加速故障排除，還能為平台、儲存空間、SRE 團隊簡化導入流程。
3. 自動化、智慧洞察力：如 VSP 360 的解決方案提供從安裝到工作流編排的端到端自動化。這能減少重複性的營運勞務、降低人為錯誤，並讓 IT 人力得以釋放，專注於更高價值的工程計畫。

儘早升級的組織將能避免隨著 AI 計畫加速而累積的技術債。選擇觀望的組織則面臨觸及效能瓶頸、遭遇非預期成本，以及營運脆弱性風險。

太長未讀：現代 AI 儲存空間對技術長的財務效益影響

現代 AI 儲存空間不再只是基礎架構的漸進式升級，更能提高 AI 投資報酬率，永續性、組織敏捷力的策略槓桿。

資料已清楚顯示：

• GPU 價格昂貴，卻常因儲存空間和資料瓶頸，而處於閒置狀態，若想實現 AI 就緒，就需要現代化的儲存空間基礎，而非只是漸進式的補強，如此方能將投資效益最大化。
• 電力、營運效率現已定義擴充性，因此永續性和成本治理，都必須納入架構設計之中
• 統一的 AI 最佳化儲存空間，能直接提高資源利用率、成本可預測性、價值實現時間，同時降低跨混合生態系統的營運複雜度
• 高密度儲存空間、保證資料減量，能維護長期的經濟效益

儲存現代化並非只是汰換基礎架構，而是一項加速 AI 發展的策略決策。儘早實現現代化的組織，就能避免技術債的累積。選擇延遲的組織，則面臨到 AI 成為核心競爭優勢的關鍵時刻，觸及效能瓶頸、遭遇非預期預算支出，還有營運脆弱性等風險。

如果您不解決此問題，GPU 就會繼續待機，禮貌、無聲，要價不菲。

瞭解 Hitachi Vantara 如何透過 AI 營運導向的管理模式，協助貴組織實現 IT 敏捷力、創新