可以總結以上,將資料分析的目標視為簡單流程:會在對的時間和對的地點,為大眾還有日益增加的 AI 代理程式提供正確資訊。
就是這樣。說起來容易,但從歷史上看,要想達成目標並不簡單。
好消息是,這種局勢正在改變。隨著資料湖倉架構、開放式圖表日益興起,還有中繼資料的重要性逐漸增加,尤其是在 GenAI 時代更是如此,物件儲存空間逐漸演變為結構化分析的高效能平台。
讓我們來探索如何才走到這一步,還有這種轉變為何重要。
從資料倉儲到資料湖,再改為資料湖倉
要想了解分析技術今日的發展,不妨想想幾十年前,擷取、轉換資料,再將資料儲存到資料倉儲的過程,會有多麼耗時。商務使用者提供需求和領域專業知識,但整個解決方案的開發,包括報告和儀表板設計,卻仍交由 IT 部門負責。
隨後自助式 BI 隨即問世,使用者能夠獨立探索資料,前提是資料倉儲中要有資料才行。可是緩慢的交付週期和僵化的模式,卻往往限制住存取方式。
結合大規模並行處理、儲存空間 (MapReduce, Hadoop) 的進展,最後會把重點放在改用資料湖倉,在可擴充、彈性的環境中,套用儲存空間大量的原始資料。資料儼然成為新的黑金,擁有資料的人理當擁有競爭優勢。但資料品質和資料治理卻往往停滯不前。
但正如黑金石油需要時間淬鍊那般,大眾逐漸意識到要想提供價值,必須轉換資料、清潔資料,然後進行分類。資料湖倉可以結合資料湖倉的彈性、資料倉儲的交易完整度,還有效能三方面,滿足以上需求。
資料湖看似很美好,卻仍依然很費時。
進入物件儲存空間
雖然資料湖非常適用於儲存空間結構化和非結構化資料,卻並非總是如此理想。也難怪經常將資料湖稱為「資料沼澤」,原因是一般會關注到資料量和多樣化,而並非總是注重資料品質。
物件儲存空間能簡化資料管理流程。它們能將儲存空間不可變物件變成結構化、非結構化資料的理想之選,卻並非總是完美無缺。
挑戰包括以下幾點:
- 冗餘、過時、瑣碎 (ROT)資料累積。
- 暗資料:已儲存但還未使用,可能佔用寶貴空間,卻沒有商業價值。
- 對現有資料及使用方式的了解相當有限。
為了充分發揮物件儲存空間的潛力,我們需要更完善的中繼資料、資料治理和查詢功能。
目前已正式推出。
VSP One Object 導入原生 S3 圖表支援
Hitachi Vantara 的VSP One Object透過原生支援 S3 圖表,將物件儲存空間提升到全新水準。這在地端物件儲存空間領域仍屬業界首創,意義非凡。
原生支援 S3 圖表則表示:
- 您可以使用比較熟悉的 S3 圖表 API,建立並管理 S3 圖表儲存桶、命名空間和圖表。
- 可以直接在開放格式資料上執行SQL 導向分析,不用改用複雜的 ETL,或是移動資料。
結合 Apache Iceberg REST 目錄、零部署 SQL 引擎和進階中繼資料服務等內建功能,VSP One Object 能為資料湖倉和 AI 工作負載奠定更強大的基礎。

VSP One Object 原生 Amazon S3 圖表有支援變革性功能,可簡化資料湖倉架構,加速分析速度,再順暢整合入 Apache Iceberg 等現代工具。既能展示企業如何彌合資料湖與資料倉儲之間的差距,加速取得洞察力,同時支援 AI/ML 工作負載。
解鎖 S3 中繼資料,實現更智慧的分析目標
除了有支援圖表以外,VSP One Object 還會導入 S3 中繼資料日誌記錄功能。一旦啟用完畢,就會開始建立、更新、刪除所有物件事件,全都會記錄在儲存空間,存成 S3 圖表格式檔案,儲存到不可變的日誌中。
這還提供關鍵功能,包括以下幾種:
- 物件活動夠完整,可查詢歷史記錄。
- 關於每種物件的豐富中繼資料。
- 能順暢整合入 Iceberg 用戶端和 SQL 引擎。
您可以馬上使用相同工具,管理並分析資料及中繼資料,還可提高資料治理、可觀察性和效能。
在對的時間選擇對的物件儲存空間解決方案
企業面臨前所未有的壓力,勢必得妥善使用資料,還得更快、更聰明、更大規模地完成以上工作。無論您是想建立 AI 模型,實現即時分析,還是只想試著因應爆炸性成長,選擇基礎架構比以往任何時候都更加重要。
VSP One Object正是為此而生,可將傳統物件儲存空間改為單一高效智慧平台,輕鬆支援現代化分析和 AI 工作負載。
在對的時間提供隊的解決方案,就會提供以下服務:
- 原生 S3 圖表有支援結構化分析。
- 內建智慧和中繼資料服務。
- 針對 AI 和湖倉工作負載進行最佳化。
- 使用簡易、可擴充、相當快速。
VSP One Object不只是單一儲存空間平台。對於想要充分釋放資料潛力的企業而言,這還是一種策略推動者,無論是結構化資料,還是非結構化資料、歷史資料或是即時資料,人工資料或機器生成資料,全都可以使用。
進一步了解物件儲存空間的 GigaOm Radar 報告為何認可 Hitachi Vantara 在物件儲存空間方面的創新表現,或可聯絡您的 Hitachi Vantara 代表,展開物件儲存空間現代化之旅。
繼續閱讀:
Jens Doerpmund
As VP of Software Architecture Engineering, Jens Doerpmund is responsible for architectural governance and innovation at Hitachi Vantara. He focuses primarily on GenAI-related topics, as well as the design and development of data management solutions for hybrid cloud environments. Connect with Jens on LinkedIn.
Mark Geel
Mark Geel is Senior Product Marketing Manager for Object Storage at Hitachi Vantara. Connect with Mark on LinkedIn.