重新定义实时性：重新思考 Kafka 的潜力

Michael Pacheco
Senior Product Marketing Manager, File Portfolio

2025 年 2 月 20 日

Real-Time Redefined: Re-Thinking Kafka’s Potential

当您曾经在大规模数据环境中工作过，您会由衷地欣赏 Kafka 这类系统的美感与复杂性。凭借近 30 年在技术和数据平台领域的经验，我亲眼见证了 Kafka 如何彻底变革实时数据处理 - 以及它如何对最强大的团队也构成挑战。

真正的问题是：如何克服这些挑战，释放 Kafka 的全部潜能？

我们得承认，Kafka 既是救星，又是一个复杂的系统。作为技术人员，您肯定体会过 Kafka 实时数据流带来的兴奋，它让数据“活”了起来，触发您可以立即行动的洞察。但您也一定体会过深夜排查代理服务器扩展问题的痛苦，与扩展成本作斗争，并在实时性能和长期保留之间做出权衡。

各行各业的 Kafka 团队都在努力应对同样的挑战。这是大规模管理海量数据流中不可避免的一部分。真正的机遇在于解决这些挑战，因此 Kafka 可以帮助您做您最擅长的事情：创新并交付成果，推动您的业务发展。

Kafka 的梦想（与现实）

您是否曾好奇，Uber 是如何在几秒内为您匹配司机的？又或者 Netflix 为什么总能推荐您刚好想看的剧？您的银行是如何在发现可疑交易的瞬间阻止并立即通知您，保障您的资金安全？LinkedIn 又如何持续提供与您职业相关的新鲜信息流？这些不仅仅是我们感激的便利，它们是现代数据奇迹的实际展现，背后正是 Kafka 在实时数据流处理中的核心支撑。

作为实时数据流的支柱，Kafka 推动着现代创新系统的运转，为我们每天所依赖的无缝体验提供动力。然而，强大之下也伴随着复杂性：

代理服务器蔓延：增加代理服务器来提高吞吐量是有效的，但成本高昂。硬件成本不断上升，管理这些扩展成了一个永无止境的循环。
长期数据困境：虽然 Kafka 在实时流处理方面表现出色，但管理长期数据保留以实现分析和合规性可能会造成瓶颈。在短期性能和长期访问之间的平衡难题加剧了流程复杂度，带来了操作负担，迫切需要更简化的解决方案。
运维压力：Kafka 的容错模型非常强大，但复制、重新平衡和恢复并非轻量级流程。随着数据的增长，这些任务会逐渐堆积，需要团队投入更多时间、资源和耐心。

这些挑战，是发挥 Kafka 强大能力的自然代价。问题不在于 Kafka 是否能胜任你的工作负载，而是你如何调整环境，让 Kafka 发挥最大潜力。

临界点

您是否曾感觉自己为了维持 Kafka 的正常运行而不断忙于各种任务？花在应对代理服务器扩展或微调复制上的时间，都是从真正重要的事情上剥夺掉的时间 - 比如推出下一个重大功能、解决关键问题，或推动企业走向突破。

但好消息是，运营难题不必占据您的全部时间。这些问题可以简化，甚至消除。

释放 Kafka 的真正力量

最大化 Kafka 价值的秘诀不在于改变 Kafka 本身，而在于我们如何设计支撑其运行的生态。通过解决扩展性、数据保留和运维方面的挑战，您可以让 Kafka 更聪明地为您的业务服务。以下是具体方法：

独立扩展：不要再为了维持运行而一味超配。将存储与计算解耦，使其可独立扩展，有效减少代理服务器的扩张，控制基础设施成本。
简化数据保留：管理实时数据与历史数据不必再顾此失彼。统一的数据层可整合一切，简化流程，确保数据无缝访问，无论是用于分析、合规还是长期价值挖掘。
自动化繁琐流程：将复制、重平衡和恢复等任务从 Kafka 中解耦出来，释放团队精力，专注于关键应用优化和推动业务增长的其他项目。
构建弹性：实现零数据丢失点（RPO）和零恢复时间目标（RTO），意味着即使面对突发情况，系统依旧在线，数据持续流转，业务稳步运行。在无法容忍故障的场景下，弹性就是您最强的竞争优势。

Kafka 卓越表现的催化剂

想象一下，如果 Kafka 能以最佳状态运行，将带来怎样的可能性？Hitachi Vantara Virtual Storage Platform One (VSP One) 是一款强大的混合云数据平台，专为应对现代高强度数据环境需求而设计 - 堪称 Kafka 的完美搭档。

VSP One 无缝集成本地与云端存储，使您无论数据身处何地，都能轻松管理 Kafka 的实时流与长期数据。通过在统一数据平台上集成文件、对象和块存储，VSP One 消除数据孤岛，确保数据始终可访问、安全可靠且性能最佳。

VSP One 让系统弹性更智能。当代理发生故障时，Kafka 无需费力地重新分配分区或重建副本即可恢复。通过存储与计算解耦，VSP One File 确保您的数据始终安全可用，新的代理可立即接管并无缝衔接前一任务。无需宕机，无任何延迟。

在传统的 Kafka 设置中，代理服务器故障会触发耗费大量资源的恢复过程，占用大量 CPU，造成网络复制流量激增，严重拖累整体性能。这种恶性循环会浪费您团队的时间和精力，这些时间和精力本可以用于更有成效的工作。VSP One 打破了这种恶性循环，简化了操作，使代理服务器故障不再是意外事件。

无论您是要扩展 Kafka 代理以处理每天数十亿事件，管理元数据密集型工作负载，还是借助不可变快照和集成保护简化合规流程，VSP One 都为您提供应对 Kafka 最严苛需求的强大工具。VVSP One 为扩展性与弹性而生，使您能够大规模处理和存储数据，同时保持企业所需的敏捷性和高效性，实现业务蓬勃发展。

通过消除管理 Kafka 运维难题的阻力，VSP One 将您的 Kafka 环境转变为创新引擎，让您以更智能的方式扩展、更高效地工作，并全面释放 Kafka 的潜能。

VSP One 如何改变您使用的 Kafka 体验：

强力驱动 AI/ML 工作负载：每天不间断处理数十亿 Kafka 事件。凭借100% 数据可用性保障提供的始终在线保障，您的 AI/ML 流水线将持续稳定运行，精准交付关键洞察。
在不影响性能的情况下降低成本：通过存储与计算解耦，消除代理蔓延，降低基础设施成本，并通过4：1 数据缩减保证实现存储效率最大化。
简化合规性和治理：通过不可变快照、集成数据保护和统一存储，轻松实现长期数据保留管理；再加上现代存储保障支持，助您领先应对不断演进的监管要求与未来挑战。
充分释放 Kafka 的规模化潜力：借助 FPGA 加速存储优化性能，消除对三倍副本的依赖，减轻 CPU 压力，使代理专注于其本职工作 - 高效进行大规模数据流处理与管理，实现更快速度与更低资源开销。

当 Kafka 运转前所未有地顺畅时，您可以将更多时间用于实现最具创意的构想，而非纠缠于基础架构管理。