消息队列发版策略
社区干货
一文了解字节跳动消息队列演进之路
多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... 采用了一套独特的低延迟策略—通过 Broker 自动感知写入一个文件尾部的部分消息延迟增高的情况,进而通过自动创建新文件进行处理。在新文件创建后,请求队列中之前未能成功落盘的消息,会被重新写入到新的文件中...
字节跳动新一代云原生消息队列实践
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队... 此外我们也可以通过一些策略避免写入有热点访问的磁盘来降低热点访问对新写入的影响。总结来看,Kafka 存储模型下,热点访问对同磁盘其他访问的影响大、持续长、且优化空间不大;而 BMQ 的池化存储模型中, **热点影响...
消息队列选型之 Kafka vs RabbitMQ
**消息队列的应用场景**既然要选,那他们有什么应用场景呢?可以总结为 6 个字: **异步、解耦、削峰** 。 **异步**首先消息队列支持异步通信,发送方...
字节跳动新一代云原生消息队列实践
字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... 此外我们也可以通过一些策略避免写入有热点访问的磁盘来降低热点访问对新写入的影响。总结来看,Kafka 存储模型下,热点访问对同磁盘其他访问的影响大、持续长、且优化空间不大;而 BMQ 的池化存储模型中,热点影响范围...
特惠活动
消息队列发版策略-优选内容
消息队列发版策略-相关内容
跨服务访问
首次使用消息队列 Kafka版之前,您需要进行跨服务授权,允许消息队列 Kafka版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 Kafka 实例之前需要进行跨服务... 可以为 IAM 用户授予 IAMFullAccess 系统策略,详细说明请参考IAM产品文档。 背景信息消息队列 Kafka版实例需要绑定 VPC 和子网等资源,创建 Kafka 实例时,消息队列 Kafka版服务需要访问私有网络等其他服务,用于获取...
产品优势
使用实例提供的访问地址即可接入消息队列 Kafka版,帮助您快速迁移上云。 高可用性在海量消息堆积的情况下,消息队列 Kafka版仍然维持对消息收、发的高吞吐能力。消息队列 Kafka版支持对已消费消息重新消费或清除堆积... 可以专注于自身业务的开发。 数据安全消息队列 Kafka版支持支持ACL权限管理,完全兼容开源Kafka的内置权限策略,通过控制台方式的用户管理功能,创建和管理PLAIN类型和SCRAM类型的用户,实现Topic级别的数据订阅与消费...
新功能发布记录
本文介绍了消息队列 RabbitMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年2月功能名称 功能描述 发布时间 发布地域 相关文档 插件重试 如果出现启用插件失败,支持在排... 2023-12-14 全部地域 开启插件 2023年11月功能名称 功能描述 发布时间 发布地域 相关文档 云监控指标 增加部分节点、 Vhost 维度监控指标,推荐设置对应的告警策略。 2023-11-19 全部地域 监控指标说...
消息顺序性与可靠性
使用消息队列 Kafka版收发消息时,往往需要关注消息的顺序性与可靠性,本文档介绍实现消息顺序性、保证消息可靠性的推荐方式。 消息顺序性Kafka 的消息在单个分区中可以保证数据的先入先出,即写入同一分区的消息,若消息 A 先于消息 B 写入,那么在进行消息读取时,消息 A 也一定可以先于消息 B 被客户端读取。但 Kafka 消息的分区顺序性仅保证通过同一生产者先后发送的消息是有序的,不同生产者发送的消息无法确认到达服务端的先后顺序...
步骤三:生产消费普通消息
准备开发环境,并创建相关服务资源之后,您可以调用开源 TCP 协议的 RocketMQ SDK 收发普通消息。本文档以 TCP 协议的 Java SDK 为例,介绍消息队列 RocketMQ版收发普通消息的基本步骤。 注意事项在使用 Java SDK 接入... import org.apache.rocketmq.client.consumer.rebalance.AllocateMessageQueueAveragely;import org.apache.rocketmq.client.exception.MQClientException;import org.apache.rocketmq.common.message.MessageExt;...
跨服务访问授权
首次使用消息队列 RocketMQ版之前,您需要进行跨服务授权,允许消息队列 RocketMQ版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 RocketMQ 实例之前需要进... 可以为 IAM 用户授予 IAMFullAccess 系统策略,详细说明请参考IAM产品文档。 背景信息消息队列 RocketMQ版实例需要绑定 VPC 和子网等资源,创建 RocketMQ 实例时,消息队列 RocketMQ版服务需要访问私有网络等其他服务...
普通消息
消息队列 RocketMQ版控制台获取的接入点信息,类似“http://{INSTANCE_ID}.rocketmq.ivolces.com.com:9876”。 * 设置RocketMQ实例的AccessKey ID和AccessKey Secret。 */ DefaultMQProducer producer = new DefaultMQProducer("YOUR GROUP ID", getAclRPCHook()); producer.setNamesrvAddr("YOUR ACCESS POINT"); //如果 SSL 认证策略设置为仅SSL连接,则通过公网访问实例时必须设置setUseT...
跨服务访问授权
首次使用消息队列 RabbitMQ版之前,您需要进行跨服务授权,允许消息队列 RabbitMQ版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 RabbitMQ 实例之前需要进... 可以为 IAM 用户授予 IAMFullAccess 系统策略,详细说明请参考IAM 产品文档。 背景信息消息队列 RabbitMQ版实例需要绑定VPC和子网等资源,创建 RabbitMQ 实例时,消息队列 RabbitMQ版服务需要访问私有网络等其他服务,...
一文了解字节跳动消息队列演进之路
多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... 采用了一套独特的低延迟策略—通过 Broker 自动感知写入一个文件尾部的部分消息延迟增高的情况,进而通过自动创建新文件进行处理。在新文件创建后,请求队列中之前未能成功落盘的消息,会被重新写入到新的文件中...
