即時重新定義：重新思考 Kafka 的潛力

Michael Pacheco
Senior Product Marketing Manager, File Portfolio

2025 年 2 月 20 日

Real-Time Redefined: Re-Thinking Kafka’s Potential

當您開始處理大規模資料時，您就會欣賞 Kafka 這類系統美好的事物和複雜性。借助將近 30 年引領科技革新、資料平台發展等寶貴經驗，我親眼目睹 Kafka 如何徹底改變即時資料處理方式，還有 Kafka 在哪些領域可以挑戰最優秀的團隊。

真正問題所在如下：如何克服這些挑戰，釋放 Kafka 提供的一切潛能？

讓我們面對現實，Kafka 既是救星，也是複雜系統。身為技術專家，您知道收看 Kafka 的即時串流內容，就能將資料變為現實，激發您的洞察力，可以立即採取行動，這種感覺多麼振奮人心。但您也感受到那些想在大半夜解決代理程式蔓延問題的痛苦，在擴增成本之間心理拉鋸戰，還能即時效能需求與長期保留之間做出權衡。

在各行各業中，Kafka 團隊都在努力應付相同的障礙。這是大規模管理海量資料流的既定成分。真正的機會就在於解決這類挑戰，因此 Kafka 可以協助您做自己最擅長的事情：保持創新，帶來推動企業發展的成果。

Kafka 的美夢（與現實環境）

是否曾經想過 Uber 如何在幾秒鐘內為您指派一名合適司機？或者 Netflix 似乎總能推薦完美的影音節目給您參考？當銀行發現出現可疑交易時，會立即中止交易，馬上通知您，以便確保資金足夠安全？或者 LinkedIn 如何讓個人專業資訊隨時更新，維持與近期資歷相關？這些不只是我們看的見的便利之處，更是 Kafka 支援的現代資料奇蹟。

作為即時資料流的支柱，Kafka 引進足以推動現代創新技術的系統，為我們每天仰賴的無縫體驗，提供必要支援。但強大的功能卻也讓資料日趨複雜：

代理程式蔓延：增加代理程式，滿足吞吐量確實有效，但成本高昂。硬體費用不斷增加，管理就像蔓延，似乎是永無止盡的循環。
長期面臨資料困境：雖然 Kafka 在即時串流媒體方面表現出色，但在管理分析和法遵的長期資料保留方面，則可能會遇到瓶頸。處理短期效能和長期存取資料的複雜性，可能會減慢工作流程，徒增營運壓力，因此簡化解決方案非常重要。
營運壓力： Kafka 的容錯模型非常強大，但複製、再平衡和復原並不屬於輕量級的流程。隨著資料不斷成長，這些工作就會開始累積起來，需要團隊投入更多時間、更多資源，付出更多耐心才行。

以上挑戰主要是利用 Kafka 強大功能後，產生的自然結果。問題不在於 Kafka 是否能處理您的工作負載，而是如何適應公司環境，以便真正釋放公司潛力。

轉捩點

您是否曾覺得自己一直忙於處理各種工作，卻只是為了讓 Kafka 維持正常運作？花在應付代理程式蔓延，或是微調複製上的每一小時，都像是在浪費時間，這些時間本原本可以用來做真正重要的事情，例如推出下一款重要功能，解決關鍵問題，或是突破現況，帶動事業向前邁進。

但這裡和您分享一個好消息。操作上有點麻煩，卻不必佔據您一整天的時間。流程可以再精簡，甚至可以取消繁瑣的流程。

釋放 Kafka 真實的力量

將 Kafka 價值最大化的秘訣不在於改變 Kafka 本身，而在於我們如何處理支援 Kafka 的生態系統。透過解決擴充、保留和營運方面等挑戰，您可以讓 Kafka 更聰明地為貴公司服務。方法如下：

單獨擴大規模：停止為了與時俱進而進行過度部屬。將儲存空間與運算分離，就可讓您獨立擴大規模，減少代理程式擴張，還能控制基礎架構成本。
簡化保留流程：在管理即時資料和歷史資料之間，不一定需要取得平衡。無論是用於分析、法務遵循，還是長期價值，統一資料層會將所有內容整合在一起，簡化工作流程，同時確保無縫存取需要的資料。
自動化研磨：從 Kafka 解除安裝複製、再平衡和復原等工作，讓團隊有時間微調關鍵應用程式，同時專注於推動實際業務成長等其他專案。
建立韌性：零恢復點目標/復原時間點目標設計意味著公司系統無論如何都能維持在線上，即使遇到意外，也能保持資料暢通，讓企業運作順暢。當不選擇失敗時，韌性就成為您最大的優勢。

Kafka Excellence 催化劑

試想如果 Kafka 能以最佳狀態運作，還有哪些可能性。Hitachi Vantara Virtual Storage Platform One(VSP One) 是一款功能強大的混合雲資料平台，旨在滿足現代資料密集型環境的需求，非常適合和 Kafka 一起搭配使用。

無論資料存在何處，VSP One 都能無縫整合地端儲存空間、雲端環境，讓您輕鬆管理 Kafka 的即時串流、長期資料。只要在統一資料平台上方整合檔案、物件和區塊儲存空間，VSP One 就能消除資料孤島，同時確保始終都可存取資料，絕對安全，還能將效能最佳化。

VSP One 讓彈性更具智慧。當代理程式發生故障時，Kafka 不用太費力，就能重新指定分區，或是重新建立副本來復原資料。透過分離儲存空間和運算資料，VSP One File 就可以確保始終都能安全使用資料，隨時都能使用，允許新的代理程式立即介入，馬上從之前中斷的地方繼續處理資料。不會出現停機時間、零延遲。

在傳統 Kafka 設定中，代理故障會觸發資源密集復原流程，消耗 CPU 週期、讓網路上充斥複製流流，降低整體效能。這是惡性循環，可能會消耗團隊的時間和精力，原本可以花在處理更有影響力的工作上。VSP One 卻打破這種惡性循環，簡化操作流程，讓代理程式故障不再只是事件。

無論您是想擴大 Kafka 代理程式規模，以便處理數十億的日常事件，管理中繼資料密集型工作負載，還是想透過不可變快照和整合防護，簡化法務遵循流程，VSP One 都能為您提供合適的工具，滿足 Kafka 最嚴苛的需求。VSP One 專為可擴充性和彈性而設計，讓您能大規模處理並儲存資料，同時維持事業蓬勃發展所需的彈性和效率。

只要消除管理 Kafka 營運可能面臨到的挑戰摩擦阻力，VSP One 就能將 Kafka 環境改為創新引擎，讓您更聰明地擴大規模，更快速地完成工作，同時釋放 Kafka 的全部潛力。

VSP One 如何一改您的 Kafka 體驗：

強化 AI/ML 工作負載：每天處理數十億個 Kafka 事件，從不間斷。擁有可靠、隨時保持在線上的可用性，還有100% 資料可用性保證，就能確保 AI/ML 管道可以正常運作，當您需要時，提供精準的關鍵洞察力。
在不影響到效能的情況下，設法降低成本：分開儲存空間與運算作業，以便消除代理程式蔓延，降低基礎架構成本，還會透過4:1 資料縮減保證，大幅提高儲存空間效率。
簡化法務遵循和治理流程：使用不可變的快照、整合資料防護、統一儲存空間，就能輕鬆管理長期保留資料，主要由現代儲存空間保證提供支援，協助您在日益變遷的法規和未來需求各方面，始終保持領先地位。
充分釋放 Kafka 的潛力：使用 FPGA 加速儲存空間，將效能最佳化，不用使用 3 倍副本，同時能減少 CPU 壓力。這讓代理程式可以完全專注於各自的目標，更能有效地快速串流資料，管理大規模資料，降低經常開支費用。

由於 Kafka 運作起來比以往更加順暢，您可以花更少時間管理基礎架構，花更多時間來將大膽的鬼點子變成現實。