rocketmq博客
社区干货
RocketMQ 存储机制浅析
ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文件系统做持久化的情况下,可获得更高效的 I/O 读写。* Broker Store 目录结构``` storePathRootDir=/cache1/rocketmq/broker/data ├── abort // 该文件在 Broker 启动后会自动创建,正常关闭 Broker,该文件会自动消失。若在没有启动 Broker 的情况下,发现这个文件是存...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字化转型,从而实现了从互联网消息中间件到云原生消息中间件的发展变革。RocketMQ与其他消息中间... 比如RabbitMQ无法水平扩展单队列能力、Kafka扩容需要大量数据拷贝和均衡。这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于 Flink 的 MQ-Hive 实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量...
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见> 字节跳动基于Flink的MQ-Hive实时数据集成> 在数仓建设第一层,对数据的准确性和实时性要求比较高。> > > > 
特惠活动
rocketmq博客-优选内容
rocketmq博客-相关内容
事务消息
业务侧通过 SendMessageInTransaction 发送消息到 RocketMQ 服务端。 业务侧通过 ExecuteLocalTransaction 执行本地事务。 实现业务查询事务执行是否成功的接口 CheckLocalTransaction。 示例代码如下。 Go impor... 对于实例 ID 格式为 MQ_INST_xxxx 的实例,此处配置的格式为${实例ID%GroupID},例如 "MQ_INST_****%demo"。详细说明请参考https://www.volcengine.com/docs/6410/153010注意事项。 producer.WithGroupName("de...
事务消息
MQClientException;import org.apache.rocketmq.client.producer.LocalTransactionExecuter;import org.apache.rocketmq.client.producer.LocalTransactionState;import org.apache.rocketmq.client.producer.SendResult;import org.apache.rocketmq.client.producer.TransactionMQProducer;import org.apache.rocketmq.common.message.Message;import org.apache.rocketmq.remoting.RPCHook;import org.apache.rocketmq.remotin...
DescribeTopicAccessPolicies
调用 DescribeTopicAccessPolicies 接口查看 Topic 的权限列表。 注意事项请求频率:该接口请求频率限制为 100 次/秒;单用户请求频率限制为 20 次/秒。 使用说明此接口用于查看指定 Topic 的权限列表,即所有 RocketMQ 密钥对于此 Topic 权限。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 是 rocketmq-cnai1f0c29ca**** 实例 ID。 TopicName String 是 my_topic Topic 名称。 PageSize Integ...
CreateInstance
调用 CreateInstance 接口创建 RocketMQ 实例。 注意事项请求频率:该接口请求频率限制为 100 次/秒;单用户请求频率限制为 20 次/秒。 使用说明实例是消息队列 RocketMQ版的基本服务单位,用以管理和存储 Topic、Group 资源。 如果是首次创建 RocketMQ 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说明请参考跨服务访问授权。 如果需要通过私有网络访问消息队列 RocketMQ版实例,请先在相同地域创建 ECS 云服...
DeleteInstance
调用 DeleteInstance 接口释放按量付费实例。 注意事项请求频率:该接口请求频率限制为 100 次/秒;单用户请求频率限制为 20 次/秒。 使用说明对于不再使用的 RocketMQ 实例,建议及时删除以节约资源。 说明 待删除实例下的 Topic 和 Group 为空时才可删除。 删除实例不可恢复,请谨慎操作。 仅按量付费实例支持通过此接口删除。包年包月实例到期后自动删除,合同期内不支持删除。 请求参数参数 参数类型 是否必选 示例值 说明...
公共参数
本文介绍每个接口都需要使用的请求参数和返回参数。 请求URL参数参数 类型 是否必选 含义 Action String 必选 要执行的操作,如调用 DescribeInstances 查询已创建的消息队列 RocketMQ版实例。 Version String 必选 要使用的 API 版本,消息队列 RocketMQ版的 API 版本是 2023-01-01。 X-Expires Integer 可选 签名的有效时间,单位为秒,默认值为 900。 请求头参数参数名 类型 是否必选 含义 Content-Type St...
DescribeAccessKeys
调用 DescribeAccessKeys 接口查询 RocketMQ 密钥列表。 注意事项请求频率:该接口请求频率限制为 40 次/秒;单用户请求频率限制为 8 次/秒。 使用说明此接口用于查看指定实例的 RocketMQ 密钥列表,也可用于查看某一... "AclConfigJson": "{\"topicPerms\":{\"RMQ_SYS_TRACE_TOPIC\":\"PUB\",\"rocketmq123\":\"PUBSUB\"},\"groupPerms\":{\"GID_test\":\"PUBSUB\"}}", "Actived": true, ...
准备工作
在运行 RocketMQ 开源版本 C++ SDK 代码收发消息前,您需按照本文提供的步骤来准备开发环境。 1 安装动态库您可以参考 GitHub 完成 RocketMQ-Client-CPP 的安装部署。 2 创建资源接入消息队列 RocketMQ版收发消息前... 说明 对于2022年12月16日及之前创建的 RocketMQ 实例,通过 Go、Python、C++ 等除 Java 以外其他语言的 SDK 收发消息时,需要通过拼接实例 ID 的格式指定 Topic 或 Group,即 InstanceID%GroupID,例如MQ_INST_85bclz...
公共参数
本文介绍每个接口都需要使用的请求参数和返回参数。 请求URL参数参数 类型 是否必选 含义 Action String 必选 要执行的操作,如调用 DescribeInstances 查询已创建的消息队列 RocketMQ版实例。 Version String 必选 要使用的 API 版本,消息队列 RocketMQ版的 API 版本是 2021-04-01。 X-Expires Integer 可选 签名的有效时间,单位为秒,默认值为 900。 请求头参数参数名 类型 是否必选 含义 Content-Type St...
