消息队列 RocketMQ版支持配置云监控告警规则，帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例，建议参考这些推荐的告警策略，配置监控指标的告警规则。
实例维度
实例 TPS 使用率超过85%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：实例TPS使用率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：85%
告警级别
警告
示例如下：
处理建议
- 如果是短暂的流量高峰，建议持续观察业务运行状态和资源水位。
- 如果实例的 TPS 使用率超过 85%，建议及时升级实例规格。操作步骤请参考升级实例规格。处理后建议持续观测该指标，确认是否达到了预期效果。
发送或订阅限流数大于 0
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：“发送限流数”或“订阅限流数”
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：0
告警级别
警告
示例如下：
处理建议
- 如果是短暂的流量高峰，建议持续观察业务运行状态和资源水位。
- 如果持续的出现限流次数大于 0，则进行规格升配或修改 TPS 占比，处理后建议持续观测该指标，确认是否达到了预期效果。相关文档，请参考升级实例规格和修改实例 TPS 比例。
生产或订阅 TPS 百分比超过 85%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：“生产TPS百分比”或“订阅TPS百分比”
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：85%
告警级别
警告
示例如下：
处理建议
- 如果是短暂的流量高峰，建议持续观察业务运行状态和资源水位。
- 如果持续的出现生产或订阅 TPS 百分比大于 85%，则进行规格升配或修改 TPS 占比，处理后建议持续观测该指标，确认是否达到了预期效果。相关文档，请参考升级实例规格和修改实例 TPS 比例。
折算后-消息生产或消费速率超过 85%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：“消息生产速率（折算后）”或“消息消费速率（折算后）”
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：85%
告警级别
警告
示例如下：
处理建议
- 如果是短暂的流量高峰，建议持续观察业务运行状态和资源水位。
- 如果持续的出现（折算后）消息生产或消费速率大于 85%，则进行规格升配或修改 TPS 占比，处理后建议持续观测该指标，确认是否达到了预期效果。相关文档，请参考升级实例规格和修改实例 TPS 比例。
实例磁盘容量使用率超过 75%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：实例磁盘使用率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：75%
告警级别
通知
示例如下：
处理建议
触发告警后，建议及时扩容实例磁盘。为了避免实例磁盘超限，建议及时扩容实例磁盘，增加存储空间。操作步骤请参考升级实例规格。处理后建议持续观测该指标，确认是否达到了预期效果。
实例 CPU 使用率超过 85%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：CPU使用率
- 持续周期：持续5个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：85%
告警级别
警告
示例如下：
处理建议
- 如果是短暂的业务高峰，建议持续观察业务运行状态和资源水位。
- 检查实例是否已达到当前计算规格的各个阈值，例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制，则推荐升级实例规格，以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标，确认是否达到了预期效果。
实例内存使用率超过 95%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：内存使用率
- 持续周期：持续5个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：95%
告警级别
警告
示例如下：
处理建议
- 如果是短暂的业务高峰，建议持续观察业务运行状态和资源水位。
- 检查实例是否已达到当前计算规格的各个阈值，例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制，则推荐升级实例规格，以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标，确认是否达到了预期效果。
实例连接数使用率超过 90%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：实例连接数使用率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：90%
告警级别
警告
示例如下：
处理建议
触发告警后，您可以通过以下方式处理。处理后建议持续观测该指标，确认是否达到了预期效果。- 合理设置连接数。触发告警后，建议根据业务需求合理设置 IP 连接数，清理空闲状态的连接。
- 升级实例规格。如果连接数持续过高，建议升级实例规格，提高连接数的上限，以免业务高峰时的处理速度受连接数限制，影响生产或消费性能。操作步骤请参考升级实例规格。
处理后建议持续观测该指标，确认是否达到了预期效果。
实例剩余可用 Topic 数不足
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：剩余可用Topic数
- 持续周期：持续3个周期
- 取值方式：最小值
- 比较方式：<
- 阈值：根据业务需求自行设置，推荐设置为 50。
告警级别
- 如果通常通过控制台创建 Topic，推荐设置为通知。
- 如果通常通过 OpenAPI 创建 Topic，推荐设置为警告。
示例如下：
处理建议
触发告警后，您可以通过以下方式处理。处理后建议持续观测该指标，确认是否达到了预期效果。
实例剩余可用 Group 数不足
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：剩余可用Group数
- 持续周期：持续3个周期
- 取值方式：最小值
- 比较方式：<
- 阈值：根据业务需求自行设置，推荐设置为 50。
告警级别
- 如果通常通过控制台创建 Group，推荐设置为通知。
- 如果通常通过 OpenAPI 创建 Group，推荐设置为警告。
示例如下：
处理建议
触发告警后，您可以通过以下方式处理。处理后建议持续观测该指标，确认是否达到了预期效果。- 清理闲置资源。检查是否存在未使用的闲置 Group，如果有，建议及时清理。
- 如果实例规格低于 medium，为了避免业务高峰时 Group 数量不足影响实例的业务处理速度，建议提前升级实例规格，预留足够的 Group 数量。操作步骤请参考升级实例规格。
- 如果规格已经是 medium，且后续预计会有大量 Group 接入，建议及时申请一个新的实例。
实例剩余可用队列数不足
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：剩余可用队列数
- 持续周期：持续3个周期
- 取值方式：最小值
- 比较方式：<
- 阈值：根据业务需求自行设置，推荐设置为 100。
告警级别
- 如果通常通过控制台创建 Topic，推荐设置为通知。
- 如果通常通过 OpenAPI 创建 Topic，推荐设置为警告。
示例如下：
处理建议
触发告警后，您可以通过以下方式处理。处理后建议持续观测该指标，确认是否达到了预期效果。- 清理闲置资源。检查是否存在未使用的闲置 Topic，如果有，建议及时清理。清理 Topic 后会空余出部分队列资源。
- 如果清理后仍旧触发此告警，则考虑升级实例规格。 为了避免业务高峰时队列数量不足影响实例的业务处理速度，建议提前升级实例规格，预留足够的队列数量。操作步骤请参考升级实例规格。
实例连接数使用率过高
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：实例连接数使用率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：连接数使用率超过 90%
告警级别
警告
示例如下：
处理建议
如果触发告警，表示实例连接数使用率较高。- 如果实例规格低于 medium，建议升级实例的计算规格，提高连接数上限。操作步骤请参考升级实例规格。
- 如果规格已经是 medium，且后续预计还会创建大量连接，建议及时申请一个新的实例，或复用连接。
实例消息生产 P99 耗时过高
告警规则配置较高
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例
触发条件
- 监控指标：消息生产P99耗时
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：高于 500ms 触发告警
告警级别
警告
示例如下：
处理建议
如果触发告警，表示实例生产请求的 P99 耗时较高，可以参考实例的生产流量速率判断：- 如果业务流量大，接近实例计算规格对应的读写能力上限，建议及时升级实例规格，提高业务流量支撑能力。
- 如果业务流量不大，建议排查业务发送的消息体大小，判断是否因消息体过大等其他因素导致生产请求的 P99 耗时较高。
实例均衡状态
磁盘用量倾斜率超过 30%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：磁盘倾斜率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：大于 30% 则触发告警
告警级别
警告
示例如下：
处理建议
如果触发告警，表示数据在各个节点磁盘上分布不均衡，部分节点磁盘使用率明显高于其他节点磁盘。建议通过以下方式处理：- 如果业务场景造成短暂的磁盘倾斜，建议暂不处理，持续观察业务运行状态和资源水位。
- 如果此实例为升配不久的实例，建议持续观察，升配实例后可能有新的数据节点加入实例，此时磁盘倾斜为正常现象。
- 如果磁盘倾斜率持续处于高位，建议观察并评估业务的数据写入逻辑是否合理，并尽量均衡写入数据到各个节点。
队列数倾斜率超过 1%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：队列数倾斜率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：大于 1% 则触发告警
告警级别
警告
示例如下：
处理建议
如果触发告警，表示各个节点的队列数量差异较大，部分节点的队列数量明显高于其他节点。在生产环境中，应保证队列数在各个节点中数量均衡，如果存在不均衡的情况，可能导致数据流量同样不均衡，影响业务读写的效率。
触发告警之后，建议找到队列数量较少的 Topic，通过设置队列数功能提高队列数量，并保证队列数是节点数量的整数倍，例如规格 rocketmq.n3.x2.medium 的计算节点数为 3，队列数建议设置为 3 的倍数，即 3、6、9 等。调整队列数量的操作步骤请参考设置 Topic 队列数。
生产速率倾斜率超过 30%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：生产速率倾斜率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：大于 30% 则触发告警
告警级别
警告
示例如下：
处理建议
如果触发告警，表示部分节点消息生产速率明显高于其他节点。通常情况下，业务生产的消息通过轮询的方式发送到各个节点，所以各节点的生产速率都是均衡的。如果出现不均衡的情况，建议观察是否有顺序消息的情况，导致消息生产速率不均，并尽快调整业务消息发送逻辑，尽量保证流量均衡。
消费速率倾斜率超过 30%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：消费速率倾斜率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：大于 30% 则触发告警
告警级别
警告
示例如下：
处理建议
如果触发告警，表示部分节点消息消费速率明显高于其他节点。通常情况下，各节点的消费速率都是均衡的，如果出现不均衡的情况，建议观察是否有顺序消息的情况，导致消息消费速率不均。- 在顺序消费场景，建议确认业务消息消费的逻辑，尽量保证流量均衡。
- 其他场景下，建议观察业务的各个消费者是否均可正常消费，是否存在部分消费端消费失败、消费性能下降的情况。
节点最大磁盘使用率超过 75%
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：最大磁盘使用率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：75%
告警级别
警告
示例如下：
处理建议
触发告警后，您可以参考流量倾斜率指标，并通过以下方式处理告警。处理后建议持续观测该指标，确认是否达到了预期效果。- 确认业务流量是否均衡，流量是否集中指向某个节点，导致磁盘使用率过高。如果是，则需要业务侧判断是否符合预期，如果不符合业务预期，建议调整下消息写入，尽量均衡流量。
- 如果流量基本不倾斜，触发告警后，为了避免实例磁盘超限，建议及时扩容实例磁盘，增加存储空间。操作步骤请参考升级实例规格。
节点最大队列数过高
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：节点最大队列数
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>=
- 阈值：根据实例规格来设置，micro 规格不高于 400，tiny 不高于 1000，small 不高于 2000， medium 不高于 4000
告警级别
警告
示例如下：
处理建议
触发告警后，您可以通过以下方式处理告警。处理后建议持续观测该指标，确认是否达到了预期效果。- 如果节点队列数快超过单节点上限，建议及时升配实例，提高实例队列数量的上限。
- 如果队列数在节点上分布不均衡，建议调整 Topic 的队列数量，保证每个 Topic 的队列数量均为实例节点数量的整数倍，从而保证队列数量在不同节点上都是均匀的。
节点最大生产速率过高
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：节点最大生产速率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>=
- 阈值：根据实例规格来设置，micro 规格不高于 2000，tiny 不高于 5000，small 不高于 10000， medium 不高于 20000
告警级别
警告
示例如下：
处理建议
触发告警后，您可以通过以下方式处理告警。处理后建议持续观测该指标，确认是否达到了预期效果。- 如果是短暂的业务高峰，建议持续观察业务运行状态和资源水位。
- 如果生产速率都持续较高，则建议升级实例规格，以提高实例的生产处理能力。
- 观察生产速率倾斜率指标，如果存在生产速率在各节点不均衡的情况，需要观察是否有顺序消息的情况，导致消息生产速率不均，并调整业务侧消息发送的逻辑，尽量保证流量均衡。
节点最大消费速率过高
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
实例均衡情况
触发条件
- 监控指标：节点最大消费速率
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>=
- 阈值：根据实例规格来设置，micro 规格不高于 2000，tiny 不高于 5000，small 不高于 10000， medium 不高于 20000
告警级别
警告
示例如下：
处理建议
触发告警后，您可以通过以下方式处理告警。处理后建议持续观测该指标，确认是否达到了预期效果。- 如果是短暂的业务高峰，建议持续观察业务运行状态和资源水位。
- 如果消费速率持续较大，建议升级实例规格，以提高实例的生产消费处理能力。
重试队列维度
重试 Topic 发送速率大于 1000
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
主题
触发条件
- 监控指标：重试Topic消息数
- 持续周期：持续1个周期
- 取值方式：最大值
- 比较方式：>
- 阈值：1000
告警级别
警告
示例如下：
处理建议
触发告警后，建议及时排查业务消费处理是否出现问题，导致消息消费失败。处理后建议持续观测该指标，确认是否达到了预期效果。
死信队列维度
新增死信消息
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
死信队列
触发条件
- 监控指标：死信Topic消息数
- 持续周期：持续1个周期
- 取值方式：平均值
- 比较方式：>=
- 阈值：1
告警级别
严重
示例如下：
处理建议
触发告警后，您可以通过以下方式处理。处理后建议持续观测该指标，确认是否达到了预期效果。- 重新投递死信消息，查看消息是否可以被正常消费。操作步骤请参考重新发送死信消息。
- 排查客户端消费失败的原因，避免后续再次出现消费失败的情况。
消费组维度
消息堆积
告警规则配置
告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。配置
取值
维度
消费组
触发条件
- 监控指标：消费组消息堆积数
- 持续周期：持续3个周期
- 取值方式：最大值
- 比较方式：>=
- 阈值：建议根据业务需求自定义设置
告警级别
警告
示例如下：
处理建议
触发告警后，您可以参考消费速率慢处理进行问题排查与处理。处理后建议持续观测该指标，确认是否达到了预期效果。