所有部落格

Lakehouse Logic:為什麼物件儲存空間會成為最新的分析引擎

Jens Doerpmund and Mark Geel
Jens Doerpmund, VP, Software Architecture & Mark Geel, Sr. Product Marketing Manager – Object Storage

2025 年 8 月 18 日

Lakehouse Logic: Why Object Storage is the New Analytics Engine

可以總結以上,將資料分析的目標視為簡單流程:會在對的時間和對的地點,為大眾還有日益增加的 AI 代理程式提供正確資訊。

就是這樣。說起來容易,但從歷史上看,要想達成目標並不簡單。

好消息是,這種局勢正在改變。隨著資料湖倉架構、開放式圖表日益興起,還有中繼資料的重要性逐漸增加,尤其是在 GenAI 時代更是如此,物件儲存空間逐漸演變為結構化分析的高效能平台。

讓我們來探索如何才走到這一步,還有這種轉變為何重要。

從資料倉儲到資料湖,再改為資料湖倉

要想了解分析技術今日的發展,不妨想想幾十年前,擷取、轉換資料,再將資料儲存到資料倉儲的過程,會有多麼耗時。商務使用者提供需求和領域專業知識,但整個解決方案的開發,包括報告和儀表板設計,卻仍交由 IT 部門負責。

隨後自助式 BI 隨即問世,使用者能夠獨立探索資料,前提是資料倉儲中要有資料才行。可是緩慢的交付週期和僵化的模式,卻往往限制住存取方式。

結合大規模並行處理、儲存空間 (MapReduce, Hadoop) 的進展,最後會把重點放在改用資料湖倉,在可擴充、彈性的環境中,套用儲存空間大量的原始資料。資料儼然成為新的黑金,擁有資料的人理當擁有競爭優勢。但資料品質和資料治理卻往往停滯不前。

但正如黑金石油需要時間淬鍊那般,大眾逐漸意識到要想提供價值,必須轉換資料、清潔資料,然後進行分類。資料湖倉可以結合資料湖倉的彈性、資料倉儲的交易完整度,還有效能三方面,滿足以上需求。

資料湖看似很美好,卻仍依然很費時。

進入物件儲存空間

雖然資料湖非常適用於儲存空間結構化和非結構化資料,卻並非總是如此理想。也難怪經常將資料湖稱為「資料沼澤」,原因是一般會關注到資料量和多樣化,而並非總是注重資料品質。

物件儲存空間能簡化資料管理流程。它們能將儲存空間不可變物件變成結構化、非結構化資料的理想之選,卻並非總是完美無缺。

挑戰包括以下幾點:

  • 冗餘、過時、瑣碎 (ROT)資料累積。
  • 暗資料:已儲存但還未使用,可能佔用寶貴空間,卻沒有商業價值。
  • 對現有資料及使用方式的了解相當有限

為了充分發揮物件儲存空間的潛力,我們需要更完善的中繼資料、資料治理和查詢功能。

目前已正式推出。

VSP One Object 導入原生 S3 圖表支援

Hitachi Vantara 的VSP One Object透過原生支援 S3 圖表,將物件儲存空間提升到全新水準。這在地端物件儲存空間領域仍屬業界首創,意義非凡。

原生支援 S3 圖表則表示:

  • 您可以使用比較熟悉的 S3 圖表 API,建立並管理 S3 圖表儲存桶、命名空間和圖表。
  • 可以直接在開放格式資料上執行SQL 導向分析,不用改用複雜的 ETL,或是移動資料。

結合 Apache Iceberg REST 目錄、零部署 SQL 引擎和進階中繼資料服務等內建功能,VSP One Object 能為資料湖倉和 AI 工作負載奠定更強大的基礎。

VSP One Object 原生 Amazon S3 圖表有支援變革性功能,可簡化資料湖倉架構,加速分析速度,再順暢整合入 Apache Iceberg 等現代工具。既能展示企業如何彌合資料湖與資料倉儲之間的差距,加速取得洞察力,同時支援 AI/ML 工作負載。
 

解鎖 S3 中繼資料,實現更智慧的分析目標

除了有支援圖表以外,VSP One Object 還會導入 S3 中繼資料日誌記錄功能。一旦啟用完畢,就會開始建立、更新、刪除所有物件事件,全都會記錄在儲存空間,存成 S3 圖表格式檔案,儲存到不可變的日誌中。

這還提供關鍵功能,包括以下幾種:

  • 物件活動夠完整,可查詢歷史記錄。
  • 關於每種物件的豐富中繼資料。
  • 能順暢整合入 Iceberg 用戶端和 SQL 引擎。

您可以馬上使用相同工具,管理並分析資料及中繼資料,還可提高資料治理、可觀察性和效能。

在對的時間選擇對的物件儲存空間解決方案

企業面臨前所未有的壓力,勢必得妥善使用資料,還得更快、更聰明、更大規模地完成以上工作。無論您是想建立 AI 模型,實現即時分析,還是只想試著因應爆炸性成長,選擇基礎架構比以往任何時候都更加重要。

VSP One Object正是為此而生,可將傳統物件儲存空間改為單一高效智慧平台,輕鬆支援現代化分析和 AI 工作負載。

在對的時間提供隊的解決方案,就會提供以下服務:

  1. 原生 S3 圖表有支援結構化分析。
  2. 內建智慧和中繼資料服務。
  3. 針對 AI 和湖倉工作負載進行最佳化。
  4. 使用簡易、可擴充、相當快速。

VSP One Object不只是單一儲存空間平台。對於想要充分釋放資料潛力的企業而言,這還是一種策略推動者,無論是結構化資料,還是非結構化資料、歷史資料或是即時資料,人工資料或機器生成資料,全都可以使用。

進一步了解物件儲存空間的 GigaOm Radar 報告為何認可 Hitachi Vantara 在物件儲存空間方面的創新表現,或可聯絡您的 Hitachi Vantara 代表,展開物件儲存空間現代化之旅。

繼續閱讀:


Jens Doerpmund

Jens Doerpmund

As VP of Software Architecture Engineering, Jens Doerpmund is responsible for architectural governance and innovation at Hitachi Vantara. He focuses primarily on GenAI-related topics, as well as the design and development of data management solutions for hybrid cloud environments. Connect with Jens on LinkedIn.