Apache Ignite跨Linux与Windows节点空闲连接超时不一致问题

问题1：为何部分连接未按30秒空闲超时关闭？ #

Ignite 2.15中UsePairedConnections=true的配置是核心诱因，结合跨OS环境与版本迁移细节，主要原因包括：

1. 成对连接的空闲检测逻辑差异：开启成对连接后，节点间会建立独立的“发送连接”与“接收连接”。Ignite对接收连接的空闲检测仅基于应用层数据交互，若接收连接长期无业务数据流入，且内部心跳未触发生成流量，空闲检测线程会误判连接仍活跃，跳过超时关闭逻辑。
2. 跨OS Socket状态识别偏差：Linux与Windows的TCP栈对“空闲连接”的底层标记逻辑不同，Ignite的IdleConnectionTimeout依赖JDK Socket API获取连接状态，跨OS环境下部分连接的空闲状态无法被正确识别，导致超时关闭逻辑未触发。
3. 版本迁移后的检测调度变更：从2.8升级至2.15时，TcpCommunicationSpi的空闲检测线程调度逻辑有优化，若默认的connectionIdleCheckFrequency（10秒）与30秒空闲超时配合出现偏差，部分连接可能因检测周期延迟未被及时扫描，超过30秒仍未关闭。
4. FailureDetectionTimeout的间接干扰：尽管FailureDetectionTimeout=900sec远大于空闲超时，但故障检测线程的心跳包若刚好避开空闲检测窗口，会让部分连接被标记为“活跃”，绕过空闲超时关闭。

问题2：需调整的配置与参数 #

可从Ignite配置与OS参数两方面入手，确保所有空闲连接按时关闭：

Ignite配置调整

1. 显式配置成对连接的超时：在TcpCommunicationSpi中分别配置sendConnectionIdleTimeout和recvConnectionIdleTimeout，替代全局IdleConnectionTimeout，确保发送、接收连接均应用30秒超时：

   <bean class="org.apache.ignite.spi.communication.tcp.TcpCommunicationSpi">
       <property name="usePairedConnections" value="true"/>
       <property name="sendConnectionIdleTimeout" value="30000"/> <!-- 30秒 -->
       <property name="recvConnectionIdleTimeout" value="30000"/> <!-- 30秒 -->
       <property name="connectionIdleCheckFrequency" value="5000"/> <!-- 缩短检测周期至5秒 -->
   </bean>
   

2. 缩短空闲检测周期：将connectionIdleCheckFrequency设为5秒（小于空闲超时的1/2），确保空闲连接能被及时扫描，避免因检测延迟导致超时不触发。
3. 优化心跳频率：调整heartbeatFrequency使其远大于空闲超时，避免心跳包误判连接活跃状态：

   <property name="failureDetectionTimeout" value="900000"/>
   <property name="heartbeatFrequency" value="300000"/> <!-- 每5分钟发送一次心跳 -->
   

OS参数调整

1. 调整TCP Keep-Alive参数：为避免OS保活包干扰Ignite的应用层空闲检测，将Linux与Windows的TCP Keep-Alive Interval调整为大于30秒（比如40秒），确保Ignite先于OS关闭空闲连接：
   • Linux：执行echo 40 > /proc/sys/net/ipv4/tcp_keepalive_intvl
   • Windows：通过注册表修改HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\TcpKeepAliveInterval为40000（毫秒）
2. 优化防火墙规则：在防火墙上为Ignite集群节点IP配置白名单，禁用针对Ignite通信端口的超时规则，或调整防火墙超时时间大于30秒，避免外部强制关闭连接引发复用错误。

内容的提问来源于stack exchange，提问作者Yash Khandelwal