KeyDB 6.3.2及后续版本容器主从通信异常问题求助

核心问题 #

Java应用采用HAProxy负载均衡KeyDB双向复制（active replica）集群，升级KeyDB至6.3.2/6.3.3/6.3.4版本后，启动约一周出现主从节点连接超时，HAProxy监控显示节点反复上线30秒后被标记为不可用1分钟，循环往复；回退至6.0.18版本后恢复正常。

排查方向与修复建议 #

1. 调整KeyDB双向复制的连接心跳参数 #

KeyDB 6.3系列对active replica的连接逻辑做了优化，但默认心跳配置可能存在长连接中断后无法自动重建的问题：

• 新增repl-ping-replica-period 5（缩短心跳间隔至5秒）和repl-timeout 60（延长连接超时至60秒）参数，避免主从连接被误判为超时
• 修改KeyDB启动命令，添加上述参数：

  # keydb-1启动命令示例
  keydb-server --port 6371 --requirepass rits --masterauth rits --notify-keyspace-events KEA --server-threads 8 --active-replica yes --replicaof keydb-2 6372 --repl-timeout 60 --repl-ping-replica-period 5
  

2. 优化Docker网络的TCP存活配置 #

Docker默认网桥可能会回收空闲长连接，导致主从连接意外断开：

• 为KeyDB节点添加TCP存活配置，强制发送心跳包维持连接：

  keydb-1:
    image: eqalpha/keydb
    command: keydb-server --port 6371 --requirepass rits --masterauth rits --notify-keyspace-events KEA --server-threads 8 --active-replica yes --replicaof keydb-2 6372 --repl-timeout 60 --repl-ping-replica-period 5
    ports:
      - "6371:6371"
    restart: unless-stopped
    sysctls:
      - net.ipv4.tcp_keepalive_time=60
      - net.ipv4.tcp_keepalive_intvl=10
      - net.ipv4.tcp_keepalive_probes=3
  

• 上述配置会让TCP连接每60秒发送心跳包，10秒重试一次，连续3次失败才断开连接，避免网络层主动回收连接

3. 修正HAProxy的健康检查逻辑 #

HAProxy默认健康检查阈值可能与KeyDB 6.3.x的响应特性不匹配，导致误判节点不可用：

• 修改HAProxy配置文件（./haproxy/haproxy.cfg），调整检查间隔和判定阈值：

  defaults
    mode tcp
    timeout connect 5s
    timeout client 30m
    timeout server 30m
  
  listen keydb
    bind *:6379
    balance roundrobin
    server keydb-1 keydb-1:6371 check inter 2s rise 2 fall 3
    server keydb-2 keydb-2:6372 check inter 2s rise 2 fall 3
  

• 缩短检查间隔至2秒，设置连续2次检查通过则上线、连续3次失败则下线，减少误判概率

4. 调整KeyDB线程数配置 #

KeyDB 6.3.x对server-threads参数的资源调度更严格，8线程可能在部分环境下引发资源竞争，影响主从连接：

• 尝试将server-threads调整为4（建议匹配CPU核心数的1/2），观察是否缓解连接问题

5. 开启KeyDB调试日志定位根因 #

添加loglevel debug参数启动KeyDB，获取主从连接的详细日志：

keydb-server --port 6371 --requirepass rits --masterauth rits --notify-keyspace-events KEA --server-threads 8 --active-replica yes --replicaof keydb-2 6372 --loglevel debug

通过docker logs keydb-1 -f查看主从连接建立、心跳交互的具体报错，针对性修复问题

验证步骤 #

1. 应用上述配置后，启动KeyDB 6.3.4和HAProxy容器
2. 持续监控HAProxy统计页面，观察节点状态是否稳定
3. 查看KeyDB容器日志，确认主从连接无超时报错
4. 模拟业务流量运行一周，验证问题是否复现

内容的提问来源于stack exchange，提问作者Development ITS