查看數據驅動型組織如何改變世界。

WATCH ON DEMAND
zh_tw

何謂 DataOps?資料作業所代表的一切。

何謂 DATAOPS?

DataOps 是 AI 時代的企業資料管理方式,運用 DevOps 的相關經驗進行資料管理與分析。事實證明,妥善部署 DataOps 能加快分析解決方案上市時間、提升資料品質和法遵程度,也能降低資料管理相關成本。

資料作業並非產品、服務或解決方案。而是一種方法:一項兼具技術與文化性質的變革,透過加強協作與自動處理等方式,進一步提升組織運用資料的效益。

何謂 DATAOPS 平台?

DataOps 是一種方法,或說一套方法學,絕非僅止於抽象的技術平台。也就是說,這是一個融合了多項資料技術與實務的整合式環境。資料很容易就能在這個系統當中流動,從資料來源開始經過資料精煉與資料儲存一直到資料使用,最終協助您做出對公司有利的決定。在這個過程中,您的技術、流程以及相關人員對於結果成效全都會發揮至關重要的影響力。

何謂 DATAOPS 架構?

DataOps 的架構結合了從技術到全面文化變革的五個基本要素。第一項要素是切實可行的技術,其中或許有多項技術已經是貴公司目前所採行(包括 IT 自動化作業、資料管理工具),再加上 AI 以及機器學習 (ML)。第二項要素是一個適應性的架構,支援主流技術、服務和流程的不斷創新。第三項是豐富您的資料,將其置於有用的背景以進行準確的分析。這代表系統會在攝取時自動建立智慧中繼資料,以節省以後在資料流程中的時間。第四項要素是建構及部署分析與資料流程的 DataOps 方法,這個方法所遵循的依據是您的資料控管措施與模式管理。

DataOps 架構的第五項要素是最重要也最困難一項:文化與人。為了發揮 DataOps 的潛力,您必須在 IT、雲端操作、資料架構和工程以及資料消費者(例如,資料分析人員和資料科學家)之間建立協作的文化。唯有如此,DataOps 才能在對的時機將對的資料運用在對的地方,從而輔助實現真正的業務價值。

何謂 DATAOPS 結構?

DataOps 結構需要相當大的靈活度,因為資料規定與資料運用的變化速度十分驚人,而且從不間斷。資料使用者(資料分析人員、資料科學人員以及業務經理)會按照各自重視的業務順序和市場現況提出新的、不同的需求。適應性強的結構可以接受並適應這些變化,從而使資料流和品質見解在每一步都得到改善。

成功的 DataOps 結構能支援全公司上下,前提是全公司上下必須協同作業。當資料使用者為各自的業務計畫擷取資相關資料和洞見時,必須能夠快速建構並塑造出他們需要資料,以及處理這些資料的資料流程。此外,這個結構必須讓這類資料作業盡可能保持簡單方便,以利使用者採用並輔助提升業務流程的智慧程度。

我該如何實施 DATAOPS?

您可以想像得到,這真的是個大哉問。不過,在您充分發揮資料潛力的過程中,我們將為您提供五個主要點或步驟。首先,評估和調整您的技術組合和流程,以消除冗餘並彙整團隊內部的控制權。然後,在您的團隊之間進行彙整,以鼓勵共享並減少阻礙協作的不一致之處。第三,在您的團隊和資料流程中結合 DataOps 實踐。這個階段通常並不容易,因為協同作業意味著必須要求團隊人員遵行他們不熟悉的流程,還得信任其他從未合作過的團隊。

到第四步驟,您已經調整好團隊人員的配合步伐,可以開始實施自動化流程了。自動作業可以提升資料流程的效率,也能讓資料作業發揮更顯著的成效。不過,您的任務還沒有結束。第五個步驟也是最後一個環節,您要讓資料消費者具備自主的能力。在這個階段,全組織上下對 DataOps 已經不陌生了,於是,資料將會迅速成為能充分展現 DataOps 威力的資訊和見解。別忘了經常檢討資料作業的每一項要素,而且要一絲不苟地衡量各項流程,以利改進、調整與升級所有流程,讓您的見解繼續展現最大的實力。

何謂 DATAOPS 工具?

要在企業中實施 DataOps,可以借助可使用的技術和流程,其中包括資料管理技術(資料目錄、資料虛擬化、資料流程、AI 模式管理),以用於修訂版本、自動測試、自動部署與管理版本,還有協調執行時間甚至是協同作業的技術。測試與部署自動化作業運用 AI 及 ML 支援各項流程和工作流程,讓您不需要手動設定。建議您善用技術降低交互運用的障礙。無論您要將各項技術整合成單一基礎,或是要組合出一套可以互通的技術,這些技術都要能夠一體適用於所有目前符合預期的資料環境:內部環境、雲端環境、多雲端環境以及混合環境。

智慧型中繼資料至關重要。善用包含廣泛 AI 和 ML 的智慧型技術,您的智慧型中繼資料將會運用這類技術提升其推斷能力。當您在擷取資料階段自動建立中繼資料、在執行階段自動偵測中繼資料,並且據以標記資料物件時,就能大幅減少團隊處理人工作業的工作量。因此,您得以加速發展資料流程,也能加快團隊採用資料並發揮分析效益的速度。

何謂 DATAOPS 工程師?

DataOps 是一套方法,也是以協同作業為中心的心態。DataOps 的成就不會全是某一位工程師或任何其他人員的功勞。貴公司的協同作業會從 IT 人員延伸到資料專家,乃至於資料使用者。老舊的思維與範疇將會崩解,跨團隊協同作業會取而代之,而且,「資料屬於全公司」將會成為全體的共識。

這並不是說個人技術將演變成全公司的活動。而是說,您的團隊將以截然不同的方式展現自己既有的能力。資料工程、資料品質、資料剖析、資料科學以及資料管理仍然不可或缺,也各具實用價值。現在,這類技術可以協助您的 DataOps 基礎架構供應資料給資料使用者,也就是資料與業務分析人員。他們可以運用 DataOps 加強自己的能力,靠自己的力量更快探索各項資料。資料處理人員的職務將有別於過去,現在他們必須負責維持資料品質並加強中繼資料。當然,您還少不了資料工程師,他們負責提供資料並找到需要弭平的資料落差。IT 和運作人員則要負責維持及優化資料作業。

何謂 DATAOPS 即是服務?

DataOps 是一套方法,因此並不是儲存即服務 (SaaS) 形式的產品。不過,SaaS 可以是 DataOps 實務的其中一環,在整個組織上下加入微型服務、協調整合以及資料流程管理。SaaS 交付模型綜合了幾項不可或缺的 DataOps 工具。

哪些公司已使用了 DATAOPS?

簡單的回答是:目前還沒有任何一間公司充分展現 DataOps 完整實力。現階段的改善空間相當大。即便如此,目前仍有一些公司領先大多數的公司;這些大多是高科技公司,內部設有陣容龐大的 DevOps 團隊,而這些團隊現在也支持各項 DataOps 計畫。不過,就廣義而言,許多組織或許已經開始採行類似於 DataOps 的模式,只是並不自覺,或者名義不同罷了。資料敏捷度通常與 DataOps 息息相關。

本公司也運用內部業務練習 DataOps。例如,我們將企業分析、報告及一個物聯網平台儲存在一個使用物件存放區與 Pentaho 的資料湖架構中。因此,我們得以提高效率、降低運作成本,也發展出一些新的商機。我們的資料分析作業進步了 30%,資料品質與一致性改善超過 50%,平台運作成本也降低了 20%。我們稱之為「您的 DataOps 優勢」。

DATAOPS 與 DEVOPS 的差別是什麼?

DataOps 是比較新的概念,其範圍也比 DevOps 更加廣泛。DataOps 就像 DevOps 一樣能夠自動處理、簡化,同時也仰賴團隊與部門之間的協同作業。DevOps 會讓 IT 的開發與運作培養出協同作業默契。DataOps 會讓整個企業上下 (從 IT 到資料專家乃至於資料使用者) 養成協同作業的習慣,而這也是 DataOps 不可或缺的條件。DevOps 能提升 IT 的效益。DataOps 能提升全公司上下的效益。

無論是 DevOps 或 DataOps,公司都要從頭到尾反省整個問題,包括其所有目標。DevOps 會擴大問題的範疇,不會侷限於 Dev 問題或 Ops 問題,而是將問題視為 DevOps 問題。組織思考從資料來源到資料使用的流程時,DataOps 也能發揮一樣的作用。不過,DataOps 影響所及不僅止於團隊,因為整個組織都要依賴資料。DataOps 也比較複雜。以 DevOps 來說,您其實只有一個交付流程 (要執行的程式碼),但若是 DataOps,則必須進行生產部署與資料流程,以利訓練資料模型與執行資料流程。您必須不斷調整、改進與衡量其中的每一個環節。

DATAOPS 有哪些效益?

451 Research 最近進行了一項研究:「DataOps:敏捷度、安全性與轉型變革的基礎」,分析已經採用了 DataOps 方法的公司,並提出非常重要的見解。報告的結論提出以下幾項重點:

  • DataOps 的概念主要與運作效率有關,但要提升這方面的效率,關鍵不只在於敏捷度,也要注重安全性與轉型變革。
  • 已經採行 DataOps 的公司十分同意這項技術為其組織帶來相當正面的影響,而改善敏捷度和效率確實與 DataOps 息息相關,但更大的動力、關鍵與優勢其實攸關安全與法遵。
  • 已經採用 DataOps 的企業在轉型為雲端與執行數位轉型策略方面較為進步,因此,他們的競爭優勢也勝過其競爭對手。
  • 此外,早期採用 DataOps 的企業已經加倍投資更多產品和服務成本,以及流程與組織變更所需的經費,坐享這項技術帶來的諸多優勢。
  • 因此,調查結果進一步證實我們的看法:儘管 DataOps 目前仍非主流技術,但未來可望在更廣泛的市場上發揮更大的影響力。
哪些是 DATAOPS 公司?

Hitachi Vantara 就是。我們自己的業務就是 DataOps 技術及相關發展的先鋒,我們配合客戶和合作夥伴一起建構並優化其 DataOps。Hitachi 深耕運作技術將近 110 年,涉獵 IT 領域也有逾 60 年的歷史,發展 DataOps 技術的經驗無人能比。

我們協助客戶發揮實力展現 DataOps 優勢,所憑藉的就是各式各樣的服務,而這些服務全數支持我們所稱的循序漸進實現價值 (簡稱 SEAM)。這些服務讓我們的客戶能夠:

儲存:花最少的成本儲存、管理及保護資料,並且讓所有邊緣、私人、混合及多雲端解決方案一律保持正確的服務等級。
增加價值:運用中繼資料分類與目錄讓資料更加豐富,提供更完善的智慧型資料管理與控管環境。
活用:探索、整合與協調企業資料資產,善用分析產生各項企業互動與應用切實可行的洞見。
創造利潤:展現成果,運用客戶企業內部及其他來源的所有資料充分實現經濟價值。

到頭來,客戶選擇 Hitachi Vantara 是非常重要的關鍵,因為我們是能與客戶合作創新、順利實現客戶願景的合作夥伴。也就是說,我們一定會以客戶想要實現的業務成果為出發點。除了這個方法,我們還結合運用本公司獨有的產業專才,並且實行整合式系統,在 SEAM 的每一個步驟盡可能放大資料價值。每一步的卓越表現都能為下一步的成就打下基礎,也能讓我們的客戶逐步邁向數位成熟境界,掌握真正的 DataOps 優勢。

zh