端口阻塞后Redis集群无法触发故障转移的问题排查

问题场景概述 #

搭建3主3从Redis集群（部署于VirtualBox的Ubuntu 20.04虚拟机），通过iptables在主节点10.0.2.27上配置规则，阻塞其6379主端口和16379集群总线端口的PSH报文，使节点可建立TCP连接但无法传输数据。预期集群会检测该主节点不可用，并将其从节点10.0.2.30提升为主节点，但多数情况下故障转移未触发，从节点日志仅显示持续尝试重连主节点。偶发两种情况：

• 约5-6分钟后集群识别主节点故障，但因cluster-replica-validity-factor配置限制，从节点因断开时间过长无法被认定为有效，故障转移失败，集群进入fail状态；
• 约5-6分钟后成功将从节点提升为主节点。

已调整repl-timeout（从180改为60）、tcp-keepalive（从300改为100）参数，cluster-replica-validity-factor保持为10，但问题仍未解决，采集从节点tcpdump未发现有效信息，需排查无法触发故障转移的原因。

核心排查方向 #

1. 集群总线心跳检测机制验证 #

Redis集群通过16379端口的集群总线每秒发送PING报文，若在cluster-node-timeout时间内未收到PONG响应，节点会标记目标节点为主观下线（SDOWN）；当集群中超过半数主节点均标记该节点为SDOWN时，才会触发客观下线（ODOWN），进而启动故障转移。

需确认：

• 当前cluster-node-timeout配置值（默认15000ms），若该值过大，会直接延迟主观下线判定；
• 其他主节点是否能接收到故障主节点的PING报文：登录其他主节点执行cluster nodes，查看故障主节点状态（是否为fail/fail?），同时检查主节点日志中是否有下线判定相关记录；
• iptables规则是否完全阻断了集群总线报文传输：PSH报文阻塞后，若TCP连接因ACK正常而维持ESTABLISHED状态，Redis可能不会立即判定节点异常，需验证规则是否覆盖了完整的数据交互路径。

2. 从节点故障转移触发条件排查 #

从节点发起故障转移需同时满足：

• 主节点被标记为ODOWN；
• 从节点与主节点断开时间未超过cluster-node-timeout * cluster-replica-validity-factor；
• 从节点为有效副本（完成过全量同步，且近期有增量同步）。

多数情况未触发故障转移，大概率是主节点未被集群标记为ODOWN；偶发情况1中，断开时间（360秒）超过阈值（cluster-node-timeout*10），导致从节点被判定为无效。

需验证：

• 从节点日志中是否存在Marking node xxx as failing类记录，若没有则说明集群未完成ODOWN判定；
• 计算当前阈值：若cluster-node-timeout为15秒，阈值为150秒，远小于360秒，会直接导致故障转移失败，需调整cluster-node-timeout至≥36秒（36*10=360秒）。

3. iptables规则的实际影响验证 #

PSH报文阻塞仅阻止TCP数据段推送，但TCP连接可能因ACK正常维持ESTABLISHED状态，这会干扰Redis的节点存活判定逻辑。

验证步骤：

• 执行iptables -L -n -v确认规则是否精准匹配6379/16379端口的PSH报文；
• 临时修改规则为DROP这两个端口的所有报文，观察是否能立即触发故障转移，以此验证是否为PSH阻塞的特殊场景导致问题。

4. 虚拟机网络特性影响排查 #

VirtualBox虚拟机的网络模式（如NAT）可能存在报文延迟、过滤或端口转发损耗，同时内核TCP参数会影响keepalive检测周期：

• 检查虚拟机网络模式，NAT模式下建议切换为桥接模式测试；
• 查看TCP内核参数：sysctl net.ipv4.tcp_keepalive_time net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepalive_probes，默认值（7200秒、75秒、9次）会导致TCP keepalive检测延迟，需调整为与Redistcp-keepalive参数匹配的数值。

5. 参数配置生效验证 #

确认调整后的参数是否正确加载：

• 登录从节点执行config get repl-timeout和config get tcp-keepalive，验证当前值是否为60和100；
• 检查配置文件（redis.conf）中参数是否已永久修改，避免临时配置重启后失效。

总结排查步骤 #

1. 调整cluster-node-timeout至≥60秒，缩小故障检测窗口；
2. 验证其他主节点对故障主节点的下线判定状态；
3. 临时替换iptables规则为全端口DROP，测试故障转移是否触发；
4. 调整虚拟机TCP内核参数，确保keepalive检测与Redis配置协同；
5. 确认所有参数配置已永久生效并重启节点测试。

内容的提问来源于stack exchange，提问作者Dark1ng