HStream 是一个兼容 Kafka 协议的现代化的分布式流数据平台。通过云原生的架构设计和专为大规模流数据优化的存储引擎实现,消除了原生 Kafka 多项痛点,让您能够流畅地在一个平台上高效完成对所有实时消息、事件以及其它数据流的一站式摄取、存储、处理和分发。
根据业务负载变化快速伸缩,分钟级完成动态平衡
存算分离架构,各组件可按需要独立扩展
数据复制到多个节点和失败域,通过 Paxos 保证强一致
无感地处理节点失败和多种错误,最大化保证系统持续可用
专为流数据优化的存储引擎,单集群支持百万 topics (灵活适配高吞吐和低延迟负载的需求)
支持与多种系统和服务进行无缝的实时数据集成,消除数据孤岛
HStream 支持 Kafka 协议,由于 Kafka 协议优秀的后向兼容性,这意味着您可以从原来的 Kafka 无缝迁移到 HStream. 包括 Kafka 客户端,Kafka connect,以及各种支持 Kafka 的流处理器、数据库和大数据系统等 Kafka 生态中的各项组件都可以和 HStream 一起正常工作。
无需经历在 Kafka 中面临的缓慢、易错、痛苦的手动分区迁移操作,HStream 细粒度的数据分布能够让集群规模随业务负载变化快速伸缩。
基于 Paxos 实现多副本数据的强一致,避免 Kafka 中可能出现的副本不一致和丢数据的情况。
计算负载和存储负载自动均衡,避免 Kafka 中固定负载分配导致的负载倾斜和热点问题。
采用优化的流数据存储引擎对所有 topic (partition) 的数据进行统一的组织和管理,避免 Kafka 中每个 topic (partition) 直接映射到物理文件带来的扩展性问题。