字节跳动的消息队列平台支持弹性扩缩容、高吞吐、低延迟等特性,已经可以稳定承载每秒数十 T bytes 的流量。受限于篇幅,本系列文章将分为上下篇。 **本文将主要从字节消息队列的演进过程及在过程中遇到的痛点问题,... 例如某个高负载的业务在高峰期决定升级,把服务暂停再重启后,由于有延迟消息(Lag),会出现大量的Cache Miss,也就是对应的数据无法在Page Cache中找到。这部分流量直接通过了Page Cache,穿透到了磁盘中,这会对磁盘产生...
对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存中的)队列实现,可以作为进程间通讯(IPC)的方法。使用队列最常见的场景就是生产者/消费者模式:生产者生产消息放到队列中,消费者从队列里面获取消息消费。典型...
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队... 任意两台 Broker 宕机都会造成某个 Partition 无法读写,且数据全部丢失。在 BMQ 的存储模型下,任意两台存储节点的异常都不会影响新写入的数据,因为只要存活的存储节点可以支持写入流量,新写入的数据就可以选择剩余...
字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... 任意两台 Broker 宕机都会造成某个 Partition 无法读写,且数据全部丢失。在 BMQ 的存储模型下,任意两台存储节点的异常都不会影响新写入的数据,因为只要存活的存储节点可以支持写入流量,新写入的数据就可以选择剩余...
消息队列 Kafka版提供以下 Topic 和 Group 管理相关的常见问题供您参考。 FAQ 列表支持多少个 Topic? 支持多少个分区? Topic 是否支持 ACL 权限配置? 如何管理 Group 的 offset? Group 不需要订阅 Topic 时,如何删... 消息队列 Kafka版支持配置 ACL 权限策略,即指定不同 SASL 用户对于指定 Topic、Group 的权限。在控制台的ACL管理页签中单击新增ACL,并填写 ACL 策略。详细的操作步骤请参考创建 ACL。 如何管理 Group 的 offset?Br...
消息队列 RabbitMQ版目前已正式对外发布两个版本的 Open API: 版本 说明 V1(2018-01-01) V1 版本 API 于 2022 年 4 月发布。该版本支持实例生命周期管理、网络管理等基本功能。 V2(2022-01-01) V2 版本 API 于... 但会停止迭代,原则上不会再增加新功能。为获得更好的使用体验和更全面的功能,我们强烈建议您使用 V2 版 Open API。相比 V1 版,V2 版 Open API 增加标签管理、消息追踪等功能, 可创建所有规格的 RabbitMQ 实例,并持...
版本说明消息队列 Kafka版目前已正式对外发布两个版本的 Open API: 版本 说明 V1(2018-01-01) V1 版本 API 于 2022 年 4 月发布。该版本支持实例生命周期管理、Topic 管理、Group 管理等基本功能。 V2(2022-05... 但会停止迭代,原则上不会再增加新功能。为获得更好的使用体验和更全面的功能,我们强烈建议您使用 V2 版 Open API。相比 V1 版,V2 版 Open API 增加了标签管理、ACL 管理等功能,可创建所有规格的 Kafka 实例,并持续...
支持的消息体最大是多少? 消息的保留时间是多久? 支持的 Kafka 版本包括哪些? 如何选择计算规格和存储规格?消息队列 Kafka版提供多种实例规格供您选择,你可以根据业务的读写流量峰值、所需的存储空间大小和分区数量估算计算规格与存储规格。 读写流量:购买时选择网卡读流量峰值和网卡写流量峰值中的较大值进行评估。 建议按实际流量增加 30% 进行评估,再根据其它参数选择适合的实例规格。 存储空间大小:实际占用的存储空间=业...
字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... 任意两台 Broker 宕机都会造成某个 Partition 无法读写,且数据全部丢失。在 BMQ 的存储模型下,任意两台存储节点的异常都不会影响新写入的数据,因为只要存活的存储节点可以支持写入流量,新写入的数据就可以选择剩余...
版本说明消息队列 RocketMQ版目前已正式对外发布两个版本的 Open API: 版本 说明 V1(2021-04-01) V1 版本 API 于 2022 年 4 月发布。该版本支持实例生命周期管理、Topic 管理、Group 管理等基本功能。 V2(2023... 但会停止迭代,原则上不会再增加新功能。为获得更好的使用体验和更全面的功能,我们强烈建议您使用 V2 版 Open API。相比 V1 版,V2 版 Open API 增加标签管理、消息查询等功能, 可创建 4.x 系列版本的 RocketMQ 实例...
本文档介绍消息队列 RabbitMQ版提供的数据安全能力,及某些场景下的数据可靠性风险。 数据可靠性火山引擎消息队列 RabbitMQ版提供多种部署策略与安全能力,全方位保护用户数据安全性与可用性。 多可用区部署。消息队... 则可能在某些极端异常场景或者插件变更等主动重启实例的场景中,造成数据丢失风险。 资源高水位 当消息队列 RabbitMQ版实例的某个节点达到资源高水位阈值时(磁盘可用剩余容量<=2G,内存使用率 100%),将触发该节点的...
本文介绍通过方案二将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建 Kafka 实例、迁移消息收发链... 当其中一个 Broker 故障时仍可保障数据可用性,副本数越大可靠性越高。 Group ID Group 的 ID,即生产和消费时指定的消费组 Group ID。 在火山引擎消息队列 Kafka版控制台中创建同样数量和配置的 Topic。您可以根...
请提前创建消息队列 Kafka版实例。 通过 Kafka 控制台查看监控数据登录消息队列 Kafka版控制台。 在顶部菜单栏中选择实例所在的地域。 在实例列表页面中找到指定实例,并单击实例名称。 在云监控页签中查看监控数据... 数据转储-任务消息队列 Kafka版在数据转储-任务维度支持以下监控指标。 监控项ID 监控项名称 单位 说明 ConnectorTaskStatus 任务状态 Count 指定 Connctor 任务的状态。 1:运行中 2:暂停 3:错误 Conne...