高频上报IoT设备的分布式状态一致性保障及缓存适用问题咨询

原业务部署基础 #

• 当前运行形态：单节点部署C# .NET Core控制台程序，负责全量接收TCP协议传输的IoT设备上报数据
• 业务规模：总计接入3万台IoT设备，单设备固定上报周期为5秒/次
• 规划架构升级：搭建分布式后端集群，通过HAProxy针对长时运行的TCP连接采用leastconn负载策略，将设备连接分发至多台后端服务器，解决单节点性能瓶颈

核心业务约束与现存痛点 #

• 业务逻辑硬性要求：每条新接收的IoT数据，必须与对应设备的上一次有效上报记录做状态比对，识别状态变化时触发对应的后置处理逻辑
• 跨节点一致性痛点：IoT设备依托SIM卡网络通信，TCP连接频繁中断；设备重连后会被负载均衡器路由至其他后端服务器，新节点读取到的“上一次记录”时间与设备实际上报的最新值时间偏差过大，直接导致比对逻辑失效
• 可接受偏差阈值：上一次记录的最大延迟容忍度为1分钟，超出该阈值的偏差会造成不可接受的业务错误
• 前期调研的初步判断：参考公开资料中“缓存通常适用于低变更频率数据”的通用结论，认为当前场景数据每5秒即发生更新，缓存方案的适配性存疑

已梳理的备选方案及已知缺陷 #

• 方案1：调整HAProxy配置，基于IP维度实现粘性会话，将同一来源IP的设备连接固定路由至指定后端服务器
  • 已知缺陷：多个IoT设备可能通过同一出口IP、不同源端口上报数据，IP维度的粘性规则会将该IP下所有连接强制绑定到单台服务器，直接破坏负载均衡效果，引发局部节点负载过高
• 方案2：采用本地内存缓存+分布式主缓存的组合同步机制
  • 运行逻辑：各后端服务器在本地内存缓存设备最新上报数据，每1分钟将本地缓存的最新数据同步至主分布式缓存；同时各服务器每1分钟从主缓存拉取分片后的最新设备记录，更新本地缓存内容

待解答的核心问题 #

• 除上述两个已梳理的方案外，是否存在其他未考虑到的可行落地方案？
• 本场景下有哪些经过生产验证的成熟软件工程模式，可解决跨后端节点的设备历史状态读取一致性问题？
• 缓存方案是否真的不适用于当前这种高频数据更新的业务场景？

内容的提问来源于stack exchange，提问作者Quade