EC2环境下Mosquitto Broker连接正常但收发消息失败问题排查

可能的根因分析 #

1. QoS 2会话状态不同步 #

QoS 2要求完整的四次握手（PUBLISH → PUBREC → PUBREL → PUBCOMP），如果任意环节的确认包丢失或会话状态未同步，会导致消息卡在待确认状态：

• 客户端或Broker的内存会话缓存出现异常，比如重连时未正确恢复会话状态；
• NAT/LTE网络的隐性丢包，导致确认包（如PUBREL、PUBCOMP）未到达对端，双方持续等待确认，连接维持但消息无法流转。

2. ACL本地API的阻塞或性能瓶颈 #

由于ACL依赖EC2本地API实现，若API出现偶发超时、无响应或性能波动：

• Broker在处理消息的ACL检查时会被阻塞，导致消息无法完成转发或发布流程；
• 若API调用未设置超时时间，Broker线程可能被长期占用，影响该客户端甚至其他客户端的消息处理。

3. Mosquitto线程模型或消息队列异常 #

• max_message_queue_size：该参数控制单个客户端的未确认消息队列上限，当前每小时35000条消息、500个客户端，平均单客户端每小时仅70条，远低于150000的阈值，因此队列满导致断开的可能性极低。但如果队列内部出现状态错误（如内存碎片、未确认消息堆积异常），可能导致消息无法出队。
• Mosquitto的线程资源不足：若TLS处理线程（tls_threads）或网络线程数量不足，会导致消息处理延迟或阻塞，尤其在高并发场景下。

4. EC2网络或TCP/TLS配置问题 #

• NAT/LTE会话超时：NAT设备或LTE网关的会话超时时间短于MQTT心跳间隔，会导致会话被隐性断开，但TCP连接仍显示ESTABLISHED（半开连接），此时仅心跳包能通过，消息包无法正常传输；
• TCP参数不匹配：EC2的TCP keepalive参数与MQTT心跳未协同，导致无法及时检测到半开连接；或路径MTU发现异常，大消息包被丢弃但未触发分段；
• TLS会话复用问题：自签名证书可能引发Java客户端与Mosquitto的TLS会话复用异常，偶发导致消息加密/解密阻塞。

排查步骤 #

1. 启用Mosquitto详细日志
   修改配置文件，开启全量debug日志：

   log_type all
   log_dest file /var/log/mosquitto/mosquitto.log
   log_timestamp true
   

   重点关注：QoS流程的确认日志、ACL检查结果、客户端会话状态、消息丢弃/阻塞相关日志。

2. 抓包分析MQTT交互流程
   当问题出现时，针对异常客户端抓包：

   tcpdump -i any host <客户端IP> and port <MQTT端口> -w mqtt_issue.pcap
   

   分析QoS 2的四次握手是否完整，确认是否有丢包或未响应的情况。

3. 检查ACL本地API状态

   • 查看API的请求日志，统计响应时间、错误率，确认是否存在偶发超时或无响应；
   • 临时切换为本地文件ACL（acl_file /etc/mosquitto/acl.conf），验证问题是否消失，排除API因素。

4. 监控EC2网络指标
   通过CloudWatch查看：

   • 网络丢包率、TCP重传率；
   • 带宽使用率、突发带宽是否耗尽；
   • 安全组/NACL是否限制了MQTT端口或ICMP包（影响MTU发现）。

5. 检查Mosquitto客户端会话状态
   使用mosquitto_ctrl查看异常客户端的会话信息：

   mosquitto_ctrl clients list -v
   

   重点关注未确认消息数、会话是否正常激活。

修复建议 #

1. 解决QoS 2会话问题

   • 启用Mosquitto持久化存储（persistence true），避免内存会话状态丢失；
   • 调整客户端cleanSession参数：若无需保留会话，设为true，重连时重建会话；若需保留，确保客户端与Broker的会话状态同步。

2. 优化ACL API性能

   • 为ACL API添加缓存层，减少Broker调用频率；
   • 设置API调用超时时间，避免Broker线程被长期阻塞。

3. 调整Mosquitto与EC2网络配置

   • 启用TCP keepalive：在Mosquitto配置中添加socket_keepalive true，同时调整EC2的TCP参数（如net.ipv4.tcp_keepalive_time = 300）；
   • 缩短MQTT心跳间隔（客户端keepAliveInterval设为60秒内），确保NAT会话不会超时；
   • 增加Mosquitto的TLS线程数：tls_threads 4（根据CPU核心数调整），启用线程化网络处理：threaded_network true。

4. 验证网络兼容性

   • 临时降级部分客户端为QoS 1/0，确认问题是否与QoS 2强相关；
   • 检查Java客户端的TLS配置，确保自签名证书被正确信任，禁用不必要的TLS扩展。

内容的提问来源于stack exchange，提问作者hhsm