RabbitMQ消费者异常：K8s Pod未消费队列消息排查求助

一、常见原因 #

• 预取（Prefetch）配置不合理：如果Python客户端设置的prefetch_count值过高（比如1000以上），少数消费者会一次性预取大量消息，导致其他消费者无消息可拿。RabbitMQ默认会尽可能把消息分给活跃消费者，但预取过大时，先建立连接的消费者会垄断消息。
• Python消费逻辑异常：
  • 处理消息时出现未捕获的异常，导致消费循环中断，但进程未退出（比如仅捕获了特定异常，遗漏了通用异常），此时连接仍保持活跃（管理界面显示up），但不再接收新消息。
  • 消息处理逻辑卡住（比如死锁、同步阻塞、外部调用未设置超时），未及时确认消息，RabbitMQ会认为该消费者仍在处理任务，不再分配新消息。
• RabbitMQ信道异常：消费者连接状态显示up，但对应的信道（Channel）已意外关闭或阻塞，RabbitMQ不会通过失效信道分发消息。
• Kubernetes网络隐性问题：部分Pod与RabbitMQ之间存在网络丢包、延迟，或Service负载均衡策略导致流量未正确分发；DNS解析偶尔失效，虽然TCP连接已建立，但后续消息传输受阻。

二、排查步骤 #

• 检查预取配置：
  1. 在RabbitMQ管理界面的「Queues」→ 目标队列的「Consumers」列表中，查看每个消费者的Prefetch count值。
  2. 核对Python代码中的basic_qos设置，比如：

     channel.basic_qos(prefetch_count=10)  # 合理值需根据消息处理速度调整
     

     若值过高，改为较小的数值（如10-50）后重启Pod测试。
• 排查消费代码日志：
  给Pod添加详细日志，记录「收到消息」「开始处理」「消息确认」「异常信息」等关键节点，对比正常Pod和异常Pod的日志：
  • 若异常Pod无「收到消息」日志，说明RabbitMQ未分发消息；
  • 若有「收到消息」但无「处理完成/确认」日志，说明处理逻辑卡住；
  • 若有异常堆栈，说明存在未捕获的异常导致消费循环终止。
• 检查RabbitMQ信道状态：
  在管理界面的「Channels」页面，筛选目标队列关联的信道，查看状态是否为running，是否有blocked或closed的记录。
• 单Pod验证：
  暂时停掉其他所有消费者Pod，仅保留一个异常Pod，观察它是否能正常消费队列中的消息：
  • 若能消费，说明是预取或分发策略问题；
  • 若仍无法消费，说明该Pod存在代码或网络问题。
• Kubernetes网络排查：
  1. 进入异常Pod执行网络测试：

     telnet <rabbitmq-service-name> 5672  # 测试AMQP端口连通性
     nslookup <rabbitmq-service-name>    # 测试DNS解析
     

  2. 用tcpdump抓包，查看Pod是否收到RabbitMQ发送的消息包：

     tcpdump -i any port 5672 -A
     

• 查看RabbitMQ日志：
  检查RabbitMQ节点的日志，查找包含「consumer」「channel」「connection」的错误信息，比如信道关闭、消费者取消等记录，定位具体异常原因。

内容的提问来源于stack exchange，提问作者Lerman