AmazonMQ维护窗口内RabbitMQ消费者自动恢复异常问题

问题描述 #

使用AWS AmazonMQ的RabbitMQ集群代理，在维护窗口期间，部分队列的部分消费者出现无法恢复或卡住的情况。

版本信息 #

• RabbitMQ Broker引擎版本：3.8.6
• Erlang版本：23.0.3
• Spring Rabbit版本：1.7.3.RELEASE
• AMQP客户端版本：4.0.2

核心错误日志 #

2023-06-21 06:08:00.712 [error] <0.767.0> CRASH REPORT Process <0.767.0> with 1 neighbours exited with reason: no match of right hand value -1 in rabbit_mirror_queue_slave:update_delta/2 line 1058 in gen_server2:terminate/3 line 1183
2023-06-21 06:08:00.713 [error] <0.766.0> Supervisor {<0.766.0>,rabbit_amqqueue_sup} had child rabbit_amqqueue started with rabbit_prequeue:start_link({amqqueue,{resource,<<"/">>,queue,<<"remoting.*******.queue">>},true,false,...}, slave, <0.765.0>) at <0.767.0> exit with reason no match of right hand value -1 in rabbit_mirror_queue_slave:update_delta/2 line 1058 in context child_terminated

伴随集群状态异常日志：

2023-06-21 05:57:59.425 [error] <0.2547.1664> Failed to fetch number of connections in vhost <<"/">> on node {aborted,{no_exists,['tracked_connection_per_vhost_on_node_rabbit@ip-*********.eu-central-1.compute.internal',<<"/">>]}}:

原因分析 #

1. 镜像队列Slave进程崩溃
   核心错误是rabbit_mirror_queue_slave:update_delta/2函数计算消息偏移量delta时出现了-1的异常值，而代码未处理该负数场景，直接触发进程崩溃。这是RabbitMQ 3.8.6的已知bug：维护窗口期间节点重启、消息同步中断或处理消息丢弃指令时，Slave节点的偏移量计算逻辑会出现异常，导致队列Slave进程终止，进而影响连接到该节点的消费者正常工作。

2. 集群状态临时不一致
   连接统计错误是因为维护期间节点状态波动，导致跟踪连接的ETS表未正常初始化或丢失，属于集群状态异常的伴随表现，会进一步干扰消费者的重连逻辑。

3. 客户端版本兼容性不足
   Spring Rabbit 1.7.3.RELEASE和AMQP客户端4.0.2版本较老，对RabbitMQ 3.8.x集群的故障恢复支持有限，自动重连逻辑无法妥善处理集群节点状态异常的场景，导致消费者卡住。

解决方法 #

1. 升级RabbitMQ Broker版本 #

RabbitMQ官方在3.8.x后续版本（如3.8.18及以上）中修复了镜像队列Slave节点的delta计算异常问题。通过AmazonMQ控制台将Broker升级到最新稳定版，从根源上解决该bug。

2. 优化客户端自动恢复配置 #

• 开启消费者自动启动：设置spring.rabbitmq.listener.simple.auto-startup=true，保证维护后消费者自动尝试重连。
• 配置心跳与重连参数：在ConnectionFactory中设置requestedHeartbeat（建议30秒）和connectionTimeout，避免连接长时间无响应。
• 添加消费重试机制：使用RetryTemplate配置消费失败后的重试策略（含重试间隔、最大次数），避免单次失败导致消费者卡住。

3. 维护窗口操作优化 #

• 维护前：暂停非关键业务的消费者，通过RabbitMQ控制台确认所有镜像队列完成同步。
• 维护后：检查集群所有节点状态，确认Slave节点完成队列同步后，再逐步恢复消费者。

4. 临时恢复措施 #

• 手动重启异常消费者进程，触发重连逻辑。
• 在RabbitMQ控制台重置异常队列的镜像状态，或重新声明队列（需提前备份数据）。

内容的提问来源于stack exchange，提问作者Freshpipe