rocketmq底层架构
社区干货
RocketMQ 存储机制浅析
ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文件系统做持久化的情况下,可获得更高效的 I/O 读写。* Broker Store 目录结构``` storePathRootDir=/cache1/rocketmq/broker/data ├── abort // 该文件在 Broker 启动后会自动创建,正常关闭 Broker,该文件会自动消失。若在没有启动 Broker 的情况下,发现这个文件是存...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
云原生架构可以理解为是云计算中天生的设计模式,它的“生命力”源自云计算技术,没有云计算,谈论云原生架构就如同空谈理论。# RocketMQ的云原生架构实现在过去的数年中,RocketMQ基于大规模云计算环境的实践经验... 当然其他主流的开源消息项目也没有进行云原生架构转型,比如RabbitMQ无法水平扩展单队列能力、Kafka扩容需要大量数据拷贝和均衡。这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。![picture.i...
演讲预告 | 字节跳动云原生大数据的探索与实践
[]()### **RocketMQ** **在字节跳动的应用与实践****沈辉 | 字节跳动基础架构研发工程师** **会议**:RocketMQ Summit 2022 全球开发者峰会**演讲时间**:7月21日(周四) 11:35-12:00**议题简介**:本议题主要介绍 RocketMQ 在字节跳动内部的应用场景、面临的挑战,在面对这些场景与挑战的情况下,如何将 RocketMQ 在字节跳动内部落地,分享主要包含字节跳动内部 RocketMQ 的落地架构、新增的组件以及字节内部版本相较于社区版本...
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ... HDFS 表示 HDFS在现有架构下无法保证删除的幂等性。 参考 DDIA (Designing Data-Intensive Applications) 第 9 章中关于因果关系的定义:因果关系对事件施加了一种顺序——因在果之前。对应于MQ dump 流程...
特惠活动
rocketmq底层架构-优选内容
rocketmq底层架构-相关内容
使用前必读
消息队列 RocketMQ版是一款火山引擎提供的消息中间件服务。RocketMQ 基于高可用分布式集群技术,提供了高可靠、可扩展、灵活路由的托管消息队列,泛应用于秒杀、流控、系统解耦等场景。 调用说明消息队列 RocketMQ版... 请参考请求结构。 使用限制每个火山引擎账号在消息队列 RocketMQ版的每个地域下可以创建 5 个实例。如果需要更多实例,请通过工单系统联系技术支持提高配额。 每个用户调用每个 API 的频率限制为 20 次/秒。如果服务...
跨可用区部署 RocketMQ 实例
跨可用区部署可提高实例的可用性,本文档介绍跨可用区部署方式对于实例的影响。 注意事项创建跨可用区部署的 RocketMQ 实例前,应确认以下问题: 部署 RocketMQ 客户端的 ECS 和 RocketMQ 实例所在的可用区应尽量一致... RocketMQ 实例的实例详情页签中基本信息区域找到可用区一行,查看可用区数量。如果可用区数量大于 1,表示该实例为跨可用区部署的实例。 可用性与故障域跨可用区部署的实例,网络资源、计算节点、存储节点等底层资源均...
产品优势
消息类型丰富消息队列 RocketMQ版提供丰富的消息类型,支持顺序消息(全局顺序 / 分区顺序)、事务消息、定时消息、延时消息等多种消息类型,满足各类场景下的数据消费需求。 顺序消息:按照消息的发布顺序进行顺序消费... 性能稳定消息队列 RocketMQ版采用分布式架构存储,支持横向扩容来增强集群的吞吐,单机最高可支持上万级别的生产消费吞吐量。 消费类型丰富消息队列 RocketMQ版提供灵活、可扩展性强的消费主题模式设置,支持发布/订...
什么是消息队列 RocketMQ版
消息队列 RocketMQ版是火山引擎基于 Apache RocketMQ 构建的分布式消息中间件服务,完全兼容开源 RocketMQ 的各个组件与概念,同时具备低延迟、弹性高可靠、高吞吐等特性优势,业务代码无需改造,帮助用户快速迁移上云。 产品功能多种消费类型:消息队列 RocketMQ版提供灵活、可扩展性强的消费主题模式设置,支持发布/订阅、集群消费和广播消费模式。 多种消息类型:消息队列 RocketMQ版支持丰富的消息类型,支持顺序消息、事务消息、定...
管理 RocketMQ
本文为您介绍如何查看并管理 RocketMQ 的数据详情。 1 前提条件在搜索前,需要在数据地图 > 元数据采集页面新建采集器,将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。 2 查看数据详情登录 DataLeap... 表结构信息详情,包括表的明细信息、使用说明、血缘关系、备注问答等功能信息。 右侧信息栏的数据表基本信息,包括基础信息、业务信息、安全信息和技术信息。 3 管理表结构信息 3.1 明细信息登录 DataLeap 控制台...
新功能发布记录
本文介绍了消息队列 RocketMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年3月功能名称 功能描述 发布地域 相关文档 云监控指标 增加实例维度的监控指标。 全部地域 查... 22022-12-13 全部 创建实例 其他功能优化 消息队列 RocketMQ版服务端架构升级改版,升级后创建的新实例,实例 ID 格式为rocketmq-xxxxx;且通过 Go SDK 生产或消费消息时,配置参数无需拼接实例 ID。对于架构升级...
创建密钥
消息队列 RocketMQ版支持开源 ACL 权限控制,通过密钥提供 Topic 资源级别的访问控制与权限管理,不同的密钥具备不同的 Topic 访问权限。 背景信息权限控制(ACL)主要为 RocketMQ 实例提供 Topic 资源级别的用户访问控制。火山引擎消息队列 RocketMQ版通过密钥管理 Topic 权限,密钥由 AccessKey ID 与对应的 AccessKey Secret 组成,用于访问实例、生产消费时的鉴权与身份认证。创建密钥时需要指定密钥的默认权限,默认权限对实例中所...
RocketMQ 客户端使用建议
本文档介绍 RocketMQ 客户端的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 日志配置RocketMQ 的日志一般是单独配置的,业务日志独立管理。日志默认保存在 ${user.home}/logs/rocketmqlogs 目录的 10 个文件中,每个文件大小为 1G,日志文件名为 rocketmq_client.log。有些业务的用户目录的磁盘空间不大,很容易造成磁盘空间不足。您可以通过设置系统变量的方式配置 ...
演讲预告 | 字节跳动云原生大数据的探索与实践
[]()### **RocketMQ** **在字节跳动的应用与实践****沈辉 | 字节跳动基础架构研发工程师** **会议**:RocketMQ Summit 2022 全球开发者峰会**演讲时间**:7月21日(周四) 11:35-12:00**议题简介**:本议题主要介绍 RocketMQ 在字节跳动内部的应用场景、面临的挑战,在面对这些场景与挑战的情况下,如何将 RocketMQ 在字节跳动内部落地,分享主要包含字节跳动内部 RocketMQ 的落地架构、新增的组件以及字节内部版本相较于社区版本...
