You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

rocketmq数据清理

RocketMQ是一个分布式的消息中间件系统,使用了高可用性、高性能、高可扩缩性和分布式特性等优势,但由于消息的持久化存储和数量的不断增加,常常需要进行数据清理工作。本文将介绍如何进行RocketMQ的数据清理。

  1. RocketMQ数据清理的目的

RocketMQ的数据清理主要是为了清除过期或无用的消息数据,以节省磁盘空间和提高系统性能。除此之外,还有以下几个目的:

(1)减少存储冗余数据,防止磁盘空间占用过高。

(2)删减过时消息数据,以提高消息查询的效率。

(3)规范消息存储数据,操作简单方便。

  1. RocketMQ数据清理的方法

RocketMQ提供了两种数据清理方法:手动清理和定时清理。

(1)手动清理:

运行以下命令清理所有topic的数据:

$ sh mqadmin cleanFiles -n 127.0.0.1:9876

其中,sh mqadmin cleanFiles -n 127.0.0.1:9876的意思是清理本机9876端口的RocketMQ服务器中的所有数据文件。如果需要清理指定topic的数据,可以使用以下命令:

$ sh mqadmin cleanExpireFiles -c "GroupName" -t "topicName" -d 30 -n 127.0.0.1:9876

其中,sh mqadmin cleanExpireFiles -c "GroupName" -t "topicName" -d 30 -n 127.0.0.1:9876的意思是清理“GroupName”消费者组中“topicName”主题中,过期时间大于30天的所有数据文件。

(2)定时清理:

RocketMQ默认提供了定时清理功能,只需要在配置文件中添加如下配置:

messageStoreConfig.diskMaxUsedSpaceRatio=80 
messageStoreConfig.diskSpaceCleanForciblyRatio=70
messageStoreConfig.diskSpaceCleanForciblyInterval=1

其中:

diskMaxUsedSpaceRatio表示磁盘使用率达到该阈值时,开始清理数据。

diskSpaceCleanForciblyRatio表示日志文件磁盘使用率达到该值时,强制清除

本文内容通过AI工具匹配关键字智能整合而成,仅供参考,火山引擎不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系service@volcengine.com进行反馈,火山引擎收到您的反馈后将及时答复和处理。
展开更多
基于 Apache RocketMQ 构建的低延迟、高并发、高可用的分布式消息中间件

社区干货

RocketMQ 存储机制浅析

RocketMQ 是一个典型的发布订阅系统,通过 Broker 节点中转和持久化数据、解耦上下游。Broker 是真实存储数据的节点,由多个水平部署但不一定完全对等的副本组构成,单个副本组的不同节点的数据会达到最终一致。Rocke... RocketMQ/Kafka/RabbitMQ 均采用的是消息刷盘至所部署虚拟机/物理机的文件系统做持久化。ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文...

打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文

MQ无法水平扩展单队列能力、Kafka扩容需要大量数据拷贝和均衡。这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/9e00553b5800468faaed9df59ba8c7c2~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715876445&x-signature=lNQkPuBOCrfExDucJiFzObMy1hI%3D)经过不断的努力和发展,在2016年,Apache RocketMQ开始...

如何解决使用RocketMQ的消息轨迹信息无法查看问题

# 问题描述RocketMQ 正常生产和消费消息,但是消费轨迹无法查看的问题该如何排查?# 问题分析此类问题原因一般如下:1. 客户端 SDK 使用的版本不对, 需要使用 SDK 版本为 4.8.0, 4.7 和 4.9 的版本均会导致前端页... DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName", aclHook,true,null);```* 消费者开启消息轨迹:```javaAclClientRPCHook aclHook = new AclClientRPCHook(new SessionCredential...

干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(1)

> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ ->... **数据写入阶段**写入阶段就主要有以下两个操作: * 如果是当前 Checkpoint 第一次写入(transaction),先清理要写入临时文件夹 `/tmp/cp-n/task-x`* 在临时文件夹中建立文件并写入数据注意在写...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

域名转入服务

域名转入首年1元起,搭配云服务器,邮箱建站必选
1.00/首年起38.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

rocketmq数据清理-优选内容

DeleteAuthKey
调用接口 DeleteAuthKey 删除 RocketMQ 密钥。 注意事项请求频率:该接口请求频率限制为 20 次/秒;单用户请求频率限制为 4 次/秒。 使用说明消息队列 RocketMQ版建议您及时删除不再使用的密钥,以保证业务安全和数据安全。 说明 删除密钥之前,请确认已停止使用此密钥连接火山引擎消息队列 RocketMQ版,否则可能因为鉴权失败导致业务中断。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 必选 MQ_INST_**...
重置消费位点
清除堆积消息、离线数据处理等场景下,需要消费过去某个时段的消息,或清除所有堆积消息,可以对消费位点进行重置操作。消息队列 RocketMQ版控制台支持重置消费位点,改变订阅者当前的消费位置,您可以通过重置消费位点功能直接从最新 Offset 位点或某个指定时间点来消费消息。 背景信息消息队列 RocketMQ版支持重置 Group 订阅的某一 Topic 或所有 Topic 的消费位点,支持的重置方式包括以下两种。 从最新位点开始消费:该 Group 在消...
DeleteAccessKey
调用 DeleteAccessKey 接口删除 RocketMQ 密钥。 注意事项请求频率:该接口请求频率限制为 20 次/秒;单用户请求频率限制为 4 次/秒。 使用说明无需使用某个 RocketMQ 密钥时,出于业务和数据安全,建议您及时删除密钥。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 是 rocketmq-cnai1f0c29ca**** 实例 ID。 AccessKey String 是 2QdEgrGc97AL1p38Fq13**** 待删除RocketMQ 密钥 AccessKey ID。创...
死信消息管理
在消息队列 RocketMQ版控制台中,您可以在线查询死信消息,并在消息被过期清理前,及时导出未正常消费的信息,排查消息生产或消费问题,避免消息丢失。 注意事项一个死信队列对应一个 Group ID, 而不是对应单个消费者实例。一个死信队列包含了对应 Group ID 产生的所有死信消息,不论该消息属于哪个 Topic。 创建 Group 时,消息队列 RocketMQ版会自动为其创建一个对应的死信队列。 死信消息将会根据存储时长被系统定时删除,在查看或导出...

rocketmq数据清理-相关内容

新功能发布记录

本文介绍了消息队列 RocketMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年3月功能名称 功能描述 发布地域 相关文档 云监控指标 增加实例维度的监控指标。 全部地域 查看监控数据 批量删除 Group 提供批量删除消费组的 API 接口(DeleteGroups)。 全部地域 DeleteGroups 2024年2月功能名称 功能描述 发布时间 发布地域 相关文档 云监控指标 增加实例、Topic 维度的监控指...

管理 RocketMQ

本文为您介绍如何查看并管理 RocketMQ数据详情。 1 前提条件在搜索前,需要在数据地图 > 元数据采集页面新建采集器,将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。 2 查看数据详情登录 DataLeap... 还可编辑和删除已添加的内容。单击编辑按钮,标签页进入编辑状态。 可执行以下操作:单击标签名称旁的编辑图标,可以修改标签名称。 单击标签名称旁的删除图标,二次确认后,删除标签页。 编辑说明内容。 单击保存按钮...

删除 Topic

无需继续使用某个 Topic 时,可以参考本文档删除 Topic。 注意事项删除该 Topic 后,相关的生产者、消费者将会立即停止服务,同时会删除 Topic 的元数据和消息数据,且数据不可恢复,请谨慎操作。 前提条件RocketMQ 实例状态为运行中。 操作步骤登录消息队列 RocketMQ版控制台。 在实例列表页面,单击目标实例名称。 在Topic管理页签,找到需要删除的 Topic,并在其对应的操作列单击删除。 确认待删除的 Topic 名称及对应实例 ID,单击删除...

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

域名转入服务

域名转入首年1元起,搭配云服务器,邮箱建站必选
1.00/首年起38.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

RocketMQ 存储机制浅析

RocketMQ 是一个典型的发布订阅系统,通过 Broker 节点中转和持久化数据、解耦上下游。Broker 是真实存储数据的节点,由多个水平部署但不一定完全对等的副本组构成,单个副本组的不同节点的数据会达到最终一致。Rocke... RocketMQ/Kafka/RabbitMQ 均采用的是消息刷盘至所部署虚拟机/物理机的文件系统做持久化。ActiveMQ(默认采用的 KahaDB 做消息存储)可选用 JDBC 做消息持久化,通过简单的 xml 配置信息即可实现 JDBC 消息存储。使用文...

DeleteTopic

请及时删除相关资源。 说明 删除该 Topic 后,相关的生产者、消费者将会立即停止服务,同时会删除 Topic 的元数据和消息数据,且数据不可恢复,请谨慎操作。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 必选 MQ_INST_******** 需要删除的 Topic 所在的实例ID。 TopicName String 必选 newtopic 需要删除的 Topic 名称。 响应参数无 示例 请求示例json POST https://rocketmq.volcengineapi.co...

限制说明

消息队列 RocketMQ版对一些指标和性能进行了限制,请您在使用过程中注意不要超过相应的限制值,避免出现异常。 限制类型 配额 说明 实例数量 5 个 单个地域(Region)内的消息队列 RocketMQ版实例数。您也可以通过... 超出保留时长限制的消息将被过期清理。 死信消息最大保留时长 72 小时 死信消息在服务端的最大保留时长。 可配置为 1~72 小时。默认为 72 小时,即 3 天。 超出保留时长限制的消息将被过期清理。 消费位点最大...

DeleteGroups

调用 DeleteGroups 接口,批量删除消费组(ConsumerGroup)。 注意事项请求频率:该接口请求频率限制为 10 次/秒;单用户请求频率限制为 2 次/秒。 使用说明本接口会删除实例下的消费组,删除后不可恢复,请谨慎调用。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 是 rocketmq-cnai1f0c29ca**** 待删除消费组所属的实例 ID。 GroupsId Array of String 是 ["GID_test1","GID_test2"] 待删除的消费组 I...

管理密钥

创建密钥并设置密钥权限之后,还需要查看详细的密钥信息,用于代码的鉴权参数配置。无需使用某个密钥时,出于业务和数据安全,建议您及时删除密钥。本文介绍管理密钥的常见操作,例如查看密钥、下载密钥与删除密钥。 查看密钥消息队列 RocketMQ版控制台支持查看和复制密钥的 AccessKey ID 和 AccessKey Secret 信息。 登录消息队列 RocketMQ版控制台。 在顶部菜单栏中选择地域。 在实例列表页面找到指定实例,并在其对应的操作列单击密...

消息队列 RocketMQ版正式商用通知

消息队列 RocketMQ版产品开始收取服务费用。 生效时间2022年04月26日中午12点。 计费项与价格消息队列 RocketMQ版支持按量付费和包年包月的计费方式,计费项包括计算规格费用与存储规格费用,不同规格的实例定价不同。产品定价的详细信息,请参见计费项与价格。 收费说明消息队列 RocketMQ版在邀测期结束前已向您发出通知,以确定是否继续使用本产品和服务。 如果您在邀测期间创建了 RocketMQ 实例,且邀测期结束后未删除实例,表示希望...

特惠活动

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

域名转入服务

域名转入首年1元起,搭配云服务器,邮箱建站必选
1.00/首年起38.00/首年起
立即购买

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

数据智能知识图谱
火山引擎数智化平台基于字节跳动数据平台,历时9年,基于多元、丰富场景下的数智实战经验打造而成
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询