You need to enable JavaScript to run this app.
导航

什么是云原生消息引擎

最近更新时间2023.04.20 17:03:34

首次发布时间2022.07.26 15:08:01

云原生消息引擎 BMQ 是火山引擎自研,100% 兼容 Apache Kafka 协议,基于云原生的全托管、高吞吐、低时延、高可用、高可扩展性、高稳定性的分布式消息引擎服务,支持灵活动态扩缩容和流批一体计算,提供企业级大数据量级的实时流数据处理能力,帮助您构建数据处理的“中枢神经系统”,广泛应用于日志收集、数据聚合、离线数据分析等业务场景。

产品架构

图片
云原生消息引擎 BMQ 采用发布-订阅设计模式。Producer 发布消息到 云原生消息引擎 BMQ 的 Topic,Consumer 订阅该 Topic,处理相关的消息。

  • Producer
    Producer 是发送消息的客户端,Producer 在获取集群和 Topic 信息后,将本地的消息批量发送到 Proxy 节点。
  • Proxy
    云原生消息引擎 BMQ 中,Proxy 接收到 Producer 请求后,将请求中的所有 Topic-Partition 做聚合,然后转发请求中对应的 Topic-Partition 数据。处理完成返回相应的结果给 Producer。
  • Broker
    云原生消息引擎 BMQ 中,Broker 接收到 Proxy 转发的 Producer 数据后,会按照 Topic-Partition 插入到对应的队列中。
  • Consumer Group
    Consumer 是接收和消费消息的客户端,每个Consumer 会规划到一个逻辑的 Consumer Grou p 中 。每个消息只会被 Consumer Group 中的一个 Consumer 消费。Consumer Group 获取集群和 Topic 信息后,通过指定 Topic-Partition 订阅或者 Coordinator 协调的方式订阅后,读取消息进行消费。
  • Coordinator
    云原生消息引擎 BMQ 中,Coordinator 通过状态机完成整个建立平衡 Consumer Group 的过程。
  • Controller
    云原生消息引擎 BMQ 中,Controller 根据统计信息来平衡 Partition。除此之外,还承担一些集群管理的任务,包括新建 Topic、扩容 Partition 等。
  • CloudFS
    CloudFS 用于存储数据面消息,云原生消息引擎 BMQ 用于存储控制面消息。

产品优势

  • 100% 兼容 Kafka 协议,零成本迁移
  • 全托管,高吞吐低延迟,开箱即用免运维
  • 存算分离,高资源利用率,存储计算无限扩容
  • 消息可观测,生产/消费吞吐与堆积及时掌控
  • 安全可控,多租户多项目精细化权限管理

功能增强

功能

说明

创建集群方式

以云原生方式秒级创建集群。

存储与计算资源扩容

支持对计算资源、存储资源进行横向扩容。

Topic 创建与删除

除了开源 Kafka CLI 和 API 接口,还支持控制台可视化操作。

Topic 分区管理

支持对 Topic 分区数进行扩容、查看分区信息。

Group 创建与删除

支持 OpenAPI 和 控制台可视化操作。