基于Mosquitto的IoT通信系统网络异常下数据精准传输方案问询

一、数据仅且至少一次交付：别死磕QoS2，搞分层策略 #

• 不是所有数据都要QoS2：QoS2的Exactly-Once依赖三次握手实现，网络波动时会大幅增加开销拖慢速率，反而得不偿失。
  • 普通温压传感器数据：用QoS1（至少一次），给每条数据加唯一UUID，服务器端维护最近1分钟的UUID黑名单，收到重复数据直接丢弃——既保证不丢数据，又比QoS2的传输效率高一倍。
  • 温度告警、压力异常这类关键数据：用QoS2，毕竟告警重复会干扰业务逻辑，这点开销值得投入。
• 把临时数组换成持久化待发送队列：每条数据发出去后标记为“待确认”，收到服务器的PUBACK（QoS1）或PUBCOMP（QoS2）响应后再从队列移除；若超时未收到确认，自动重试（重试次数设3-5次即可，过多重试会占用额外资源）。

二、网络异常毫秒级感知：抛弃慢心跳，抓底层事件 #

• 别等8-10秒的心跳超时，直接监听两个核心事件：
  • 给Mosquitto客户端把keepalive参数设为2秒，同时注册on_disconnect回调——一旦触发，立刻将队列中所有未发送的数据写入sqlite3，同时让采集线程切换为直接写数据库模式，不再往队列塞数据。
  • 增加TCP层socket监听：用系统原生的select/poll或libevent库，捕获socket写错误、连接重置等事件，一旦触发立即执行存库逻辑，响应速度可达毫秒级，远快于心跳检测。
  • 存库时必须记录采集时间戳和存库时间戳，后续网络恢复时按采集时间顺序重发，避免时序混乱。

三、解决发送间隔拉长、收发速率不匹配：解耦+限流 #

• 优化队列处理逻辑：
  • 抛弃定时批量发送，改用“阈值触发”机制：队列攒够10条（可配置）或达到1秒间隔（取先满足的条件）就触发发送，避免数据堆积导致发送间隔越来越长。
  • 设置并发发送上限：通过mosquitto_max_inflight_messages()将并发发送数设为20左右，防止过多未确认消息阻塞队列，导致后续数据无法及时发送。
  • 非关键数据禁用QoS2：如前所述，QoS1+UUID去重的组合足够满足需求，能节省大量握手开销，提升传输速率。
• 采集与发送彻底解耦：开启两个独立线程，一个专门负责采集数据并写入队列/数据库，另一个专注处理发送、重发、确认逻辑，避免采集和发送互相阻塞拖慢整体速率。

网络异常场景下的完整操作流程 #

1. 网络正常时：采集线程将数据写入待发送队列，发送线程按QoS规则发送数据，收到服务器确认后移除队列对应记录。
2. 网络异常时：
   • 立即锁定待发送队列，将所有未确认数据写入sqlite3，每条数据附带UUID、采集时间、数据内容。
   • 采集线程切换为直接写数据库模式，跳过队列环节。
3. 网络恢复时：
   • on_connect回调触发，启动数据库数据重发逻辑，按采集时间从早到晚依次发送。
   • 重发完成后切换回队列存储模式，恢复正常收发流程。

内容的提问来源于stack exchange，提问作者徐飞翔