rocketmq实现
社区干货
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字化转型,从而实现了从互联网消息中间件到云原生消息中间件的发展变革。RocketMQ与其他消息中间件的一大区别就在于,它采用的是经过实践检验的云原生架构。接下来,我们要探讨RocketMQ在云原生架构领域的关键技术进步。## RocketMQ的云原生发展历程随着消息队列行业的发展,Apache RocketMQ经历了12年的发展历...
RocketMQ 存储机制浅析
ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文件系统做持久化的情况下,可获得更高效的 I/O 读写。* Broker Store 目录结构``` storePathRootDir=/cache1/rocketmq/broker/data ├── abort // 该文件在 Broker 启动后会自动创建,正常关闭 Broker,该文件会自动消失。若在没有启动 Broker 的情况下,发现这个文件是存...
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见> 字节跳动基于Flink的MQ-Hive实时数据集成> 在数仓建设第一层,对数据的准确性和实时性要求比较高。> > > > 在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于 Flink 的 MQ-Hive 实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量...
特惠活动
rocketmq实现-优选内容
rocketmq实现-相关内容
定时消息和延时消息
火山引擎消息队列 RocketMQ版提供了两种发送延时消息的方式,一种是特定延时时间,另一种是任意延时时间。您可以通过消息属性中的定时时间实现消息的定时发送,其中任意精度的延时消息包括以下两种。 特定精度延时消息,只支持特定的 18 个等级。 Go messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 任意精度延时消息:对于 2023年2月21日之后创建的 RocketMQ 实例,建议通过属性 __STARTDELIVERTIME 来...
迁移概述
背景信息火山引擎基于Apache RocketMQ 构建了稳定、安全的消息队列 RocketMQ版。与和开源 RocketMQ 相比,消息队列 RocketMQ版支持 VPC 访问,免部署免运维,具备更高的稳定性和安全性,支持消息查询、全链路消息轨迹查询以及消息回溯等功能,帮助您快速发现和处理系统问题,提高运维效率。RocketMQ 业务迁移是指将自建或其他云厂商的 RocketMQ 迁移到火山引擎消息队列 RocketMQ版。对于消息队列来说,如需在业务运行过程中实现集群迁移...
定时消息和延时消息
火山引擎消息队列 RocketMQ版提供了两种发送延时消息的方式,一种是特定延时时间,另一种是任意延时时间。您可以通过消息属性中的定时时间实现消息的定时发送,其中任意精度的延时消息包括以下两种。 特定精度延时消息,只支持特定的 18 个等级。 Java messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 任意精度延时消息:对于 2023年2月21日之后创建的 RocketMQ 实例,建议通过属性 __STARTDELIVERTIME...
跨可用区部署 RocketMQ 实例
设置跨可用区部署消息队列 RocketMQ版支持跨可用区部署 RocketMQ 实例,即支持多 AZ。跨可用区部署的实例具备更强的容灾能力,全方位保障集群数据的可靠性和服务的可用性。在购买 RocketMQ 实例时,部署方式设置为跨可用区部署,并选择 3 个可用区即可实现跨可用区容灾。创建实例后,不可修改实例的部署方式,即单可用区部署的实例无法切换为跨可用区部署。跨可用区部署的实例在使用姿势上对客户端没有区别。但是建议客户端机器也分散...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字化转型,从而实现了从互联网消息中间件到云原生消息中间件的发展变革。RocketMQ与其他消息中间件的一大区别就在于,它采用的是经过实践检验的云原生架构。接下来,我们要探讨RocketMQ在云原生架构领域的关键技术进步。## RocketMQ的云原生发展历程随着消息队列行业的发展,Apache RocketMQ经历了12年的发展历...
准备工作
rocketmq-client-python 的功能通过封装 rocketmq-client-cpp 实现,因此需要先安装依赖 librocketmq。根据您使用的操作系统下载对应的安装包,相关说明请参考 rocketmq-client-cpp-2.0.0 。 安装 rocketmq-client-python。rocketmq-client-python 是 RocketMQ 的社区版 SDK,可通过如下命令直接安装:Python pip install rocketmq-client-python 2 创建资源接入消息队列 RocketMQ版收发消息前,需要先在控制台中创建相关资源,调用相...
什么是消息队列 RocketMQ版
多种消息类型:消息队列 RocketMQ版支持丰富的消息类型,支持顺序消息、事务消息、定时消息、延时消息等多种消息类型,满足各类场景下的数据消费需求。 多种消息免运维机制:消息队列 RocketMQ版支持消息查询和回溯、消息重试与死信管理等多种消息免运维机制,可配置消费延时、消息堆积等情况下的数据监控与告警,帮助用户及时发现问题。 安全防护:消息队列 RocketMQ版兼容 RocketMQ 的 ACL 访问策略,通过密钥管理功能实现数据面的...
步骤二:创建资源
本文将为您介绍消息队列 RocketMQ版控制台创建 RocketMQ 实例、Group 和 Topic 的操作步骤。 准备工作已开通消息队列 RocketMQ版,并进行了相关环境准备。创建的 RocketMQ 实例运行于私有网络中,在创建前确保已存在可用的私有网络和子网,详情请参见环境准备。 如果需要通过公网访问消息队列 RocketMQ版实例,请先申请同地域的 EIP,建议该 EIP 的带宽上限大于预估的公网业务流量峰值。详细操作步骤请参考申请公网 IP。 1 创建实例说...
创建实例
应用接入消息队列 RocketMQ版之前,需要在控制台创建 RocketMQ 实例。消息队列 RocketMQ版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文档介绍创建 RocketMQ 实例... SSL连接策略 RocketMQ 实例的公网连接策略,仅在开启公网访问时需要设置。支持设置为: 仅SSL连接:通过公网访问实例时,必须经由 SSL 认证。SSL 认证可实现数据的加密传输,相较于普通公网访问方式具备更高的安全性...
