Apache RocketMQ开始向云端发展,成为了全球首个推出公有云SaaS版本的开源消息队列服务。同年,RocketMQ被阿里巴巴赠予Apache基金会,于2017年成为首个中国互联网中间件获得TLP(Top-Level Projects,顶级项目)身份。### 云原生阶段的升级在开源发展和云计算的推动下,RocketMQ不仅在阿里巴巴内部实现大规模应用,还助推了各行各业的数字转型。至2022年,随着5.0版本的发布,Apache RocketMQ正式进入了云原生的新阶段。RocketMQ5.0 ...
全球数字经济进入高速发展期,已经成为推进经济发展的新增长极。云原生技术作为下一代云计算的技术内核,在加快推进各产业数字化转型中发挥着重要作用,云原生大数据技术产品也逐步迭代升级,开始引领产业变革的浪潮。近期,诸多行业大会围绕大数据容器化相关话题展开讨论。字节跳动云原生计算团队也将在以下大会中进行演讲直播,欢迎关注。 ![]()### **RocketMQ** **在字节跳动的应用与实践****沈辉 | 字节跳动基础架构研发工程...
ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文件系统做持久化的情况下,可获得更高效的 I/O 读写。* Broker Store 目录结构``` storePathRootDir=/cache1/rocketmq/broker/data ├── abort // 该文件在 Broker 启动后会自动创建,正常关闭 Broker,该文件会自动消失。若在没有启动 Broker 的情况下,发现这个文件是存...
# 问题描述RocketMQ 正常生产和消费消息,但是消费轨迹无法查看的问题该如何排查?# 问题分析此类问题原因一般如下:1. 客户端 SDK 使用的版本不对, 需要使用 SDK 版本为 4.8.0, 4.7 和 4.9 的版本均会导致前端页... DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName", aclHook,true,null);```* 消费者开启消息轨迹:```javaAclClientRPCHook aclHook = new AclClientRPCHook(new SessionCredential...
消费速率慢处理RocketMQ 的每个消费者的能力不同,线上经常会发生消费堆积的问题。您可以通过以下方式处理: 提高消费并行度绝大部分消息消费行为都属于 IO 密集型,即操作数据库或者调用 RPC。这类消费行为的消费速度依赖于后端数据库或者外系统的吞吐量,通过增加消费并行度,可以提高总的消费吞吐量,但是并行度增加到一定程度,反而会下降。所以,应用必须要设置合理的并行度。 您可以通过以下方式修改消费并行度: 同一个 ConsumerG...
消息队列 RocketMQ版是一款基于 Apache RocketMQ 构建的分布式消息中间件服务,完全兼容开源 RocketMQ 客户端。消息队列 RocketMQ版具备低延迟、弹性高可靠、高吞吐等特性优势,支持顺序、延迟、定时、重投、死信消息等功能,完美适配电商大促等业务场景
应用接入消息队列 RocketMQ版之前,需要在控制台创建 RocketMQ 实例。消息队列 RocketMQ版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文档介绍创建 RocketMQ 实例的操作步骤。 说明 默认情况下,您可以在每个地域中创建 5 个 RocketMQ 实例,且每个账号在每个地域中的所有实例存储容量总和最大为 10TiB,否则创建实例时报错 The InstanceNum/StorageSum has exceeded quota。如需提...
本文档介绍 RocketMQ 客户端的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 日志配置RocketMQ 的日志一般是单独配置的,业务日志独立管理。日志默认保存在 ${user.home}/logs/rocketmqlogs 目录的 10 个文件中,每个文件大小为 1G,日志文件名为 rocketmq_client.log。有些业务的用户目录的磁盘空间不大,很容易造成磁盘空间不足。您可以通过设置系统变量的方式配置 ...
本文档介绍 RocketMQ 生产者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息 Tag建议组合使用 Topic 和 tags,以减少 Topic 的使用。 Tag 可以由应用自行设置。 仅当生产者在发送消息时设置了 Tag,消费者在订阅消息时才可以利用 Tag 进行消息过滤,例如 message.setTags("TagA")。消费者在 Broker 侧根据 Tag 的 hashcode 进行初步过滤,在消费端根据字符串过滤...
本文介绍了消息队列 RocketMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年3月功能名称 功能描述 发布地域 相关文档 云监控指标 增加实例维度的监控指标。 全部地域 查看监控数据 批量删除 Group 提供批量删除消费组的 API 接口(DeleteGroups)。 全部地域 DeleteGroups 2024年2月功能名称 功能描述 发布时间 发布地域 相关文档 云监控指标 增加实例、Topic 维度的监控指...
访问控制 IAM(Identity and Access Management)是火山引擎提供的权限管理服务,用于控制不同身份对云资源的访问权限。本文档介绍通过 IAM 服务管理消息队列 RocketMQ版资源的方式。 应用场景企业用户使用火山引擎消息队列 RocketMQ版时,如果需要集中或统一管理某些资源,会选择在一个火山引擎账号下创建所有需要的资源。企业中各个岗位需要使用的火山引擎服务和资源不同,出于数据安全与权限隔离的的考虑,火山引擎账号下的所有资源应...
跨可用区部署可提高实例的可用性,本文档介绍跨可用区部署方式对于实例的影响。 注意事项创建跨可用区部署的 RocketMQ 实例前,应确认以下问题: 部署 RocketMQ 客户端的 ECS 和 RocketMQ 实例所在的可用区应尽量一致,避免故障域不对等的问题。 跨可用区部署的实例可能会出现 2ms~3ms 的网络延迟,确认单请求时延上升对业务是否有影响。 客户端使用同步方式调用接口的情况下,实例的吞吐性能可能会下降,需要考虑预留一定的性能空间、升...
System.out.println(new Date() + " Send mq message failed."); e.printStackTrace(); } } //在应用退出前,销毁Producer对象。 producer.shutdown(); }} 异步发送异步发送是指发送方发出一条消息后,不等服务端返回响应,接着发送下一条消息的通讯方式。火山引擎消息队列 RocketMQ版的异步发送,需要实现异步发送回调接口(SendCallback)。消息发送方在发送了一...