单NAT IP下IBM MQ多客户端断连问题及方案咨询

你现在遇到的单客户端重启带崩所有连接的问题，和上层用IBM MQ还是C#写业务代码没有直接关系，90%以上概率是两个问题叠出来的：

• 服务器2开了net.ipv4.tcp_tw_recycle参数，这个参数在NAT接入场景下是公认的坑——同一个NAT源IP下的不同客户端时间戳不一致的话，内核会直接丢弃后续握手包，表现就是全量连接重置
• 你用的单子网NAT配置了端口相关的会话映射规则，或者开了过激的会话回收策略，单个客户端断连重连的时候，误删了同目标IP下其他客户端的会话表项；如果单NAT IP到服务器2的单端口连接数逼近65535的上限，单个连接释放触发的端口回收逻辑也可能带崩其他会话。

• 只要你还是走同一个单子网NAT IP出网，不管上层跑的是IBM MQ客户端还是Kafka生产者，NAT层、服务器TCP层的逻辑不调整，该重置还是会重置，换技术栈绕不开底层传输层的问题
• Java8的多线程/并行处理不会新增出网IP，所有连接还是会映射到同一个NAT公网地址上，反而Kafka默认会和服务端建多根长连接，会更快耗尽NAT的可用端口，让问题出现得更频繁
• 为了这个问题把整个MQ架构换成Kafka，还要重新做消息可靠性、重试、顺序性的适配，工作量极大，属于完全没必要的过度重构。

零代码改动，先调参数 #

1. 先登录服务器2修改内核TCP参数：
   直接把net.ipv4.tcp_tw_recycle设为0，这个参数在4.12之后的内核里已经被删除，NAT场景下开了必出跨客户端连接问题；net.ipv4.tcp_tw_reuse也先关掉，调大全连接队列net.core.somaxconn到至少2048，半连接队列net.ipv4.tcp_max_syn_backlog同步调大，避免单客户端重连的握手包冲掉其他正常连接的队列项。
2. 调整NAT网关配置：
   • 关掉NAT上的“会话快速回收”“异常连接立即清理”类策略，TCP会话超时时间设为和业务长连接心跳间隔匹配，比如业务30秒发一次心跳，就把超时设为90秒，避免空闲连接被误删
   • 把NAT的映射规则改成端点无关映射，不要用和源端口、目标端口绑定的映射策略，避免单个客户端断连时删掉其他客户端的会话表
   • 如果托管方数量超过100个、单客户端长连接数多，直接给NAT网关多绑几个公网IP做源地址哈希的出网负载，单IP到同一个目标IP+端口的最大可用端口只有65535，堆再多上层逻辑也突破不了这个传输层上限。

少量配置改动，优化现有MQ架构 #

不用替换MQ，给每个托管方分配独立的SVRCONN通道，不要所有客户端共用同一个连接通道，开启通道的会话隔离，把通道心跳参数HBINT设为30秒，避免连接被中间设备静默掐断。

最后才考虑换架构 #

只有当你的业务是高吞吐、弱事务的非核心数据上传，不需要IBM MQ的强事务、Exactly-Once投递保障的时候，再考虑换Kafka，而且必须先把前面说的NAT、TCP参数问题解决，不然换什么上层协议都没用。

内容的提问来源于stack exchange，提问作者user18790868