Spring Boot 3.2连接多K8s集群MongoDB ReplicaSet启动异常求助

核心原因分析 #

1. ReplicaSet成员地址不匹配引发的连接混乱 #

Mongo ReplicaSet的成员是通过自身注册的host地址对外暴露的。如果初始化ReplicaSet时用的是K8s内部Pod IP/ClusterIP域名，但客户端配置的是Master/Infra节点的IP+NodePort，客户端获取ReplicaSet成员列表后，会直接尝试连接这些内部地址，而非走你配置的NodePort路由。跨集群/外部环境无法访问这些内部地址，就会出现节点连接失败、被客户端从集群视图移除的情况，甚至找不到可用Primary。

2. NodePort转发链路的不稳定性 #

K8s的NodePort依赖kube-proxy通过iptables/ipvs维护转发规则，当规则刷新、节点网络临时抖动、Mongo Pod调度到其他工作节点时，Master/Infra节点到Mongo Pod的转发链路可能中断，导致客户端连接超时，触发健康检查失败。

3. 健康检查的严格逻辑 #

Spring Boot的MongoHealthIndicator默认使用ReadPreference=primary，要求必须能连接到Primary节点才判定健康。如果客户端因上述问题无法稳定识别Primary的可达性（比如Primary的内部地址不可访问，NodePort转发又波动），就会触发启动超时。

具体排查方向 #

• 验证ReplicaSet成员配置：
  登录Mongo主节点执行rs.conf()，查看members数组中每个节点的host字段，确认是否为对外可访问的Master/Infra节点IP+NodePort。如果是内部地址，需要重新初始化ReplicaSet，用对外可达地址配置成员（执行rs.reconfig()修改配置）。

• 测试NodePort转发的稳定性：
  在应用所在环境，用mongosh持续连接每个Master/Infra节点的NodePort：

  mongosh "mongodb://<MASTER-IP>:<NODEPORT>,<INFRA-IP>:<NODEPORT>/your-db?replicaSet=rs-name"
  

  同时观察K8s节点上的kube-proxy日志（kubectl logs -n kube-system kube-proxy-<node-name>），看是否有转发规则更新异常、端口冲突等日志。

• 开启Mongo驱动调试日志：
  在Spring Boot配置中添加：

  logging.level.org.mongodb.driver=DEBUG
  

  查看客户端获取ReplicaSet成员后的连接行为，确认是否存在尝试连接内部地址的情况。如果是，需要确保ReplicaSet对外暴露的地址与客户端配置的路由一致。

• 排查跨集群网络连通性：
  用tcpdump在应用节点和Mongo所在工作节点抓包，检查TCP连接请求是否能正常到达、响应：

  # 应用节点抓包
  tcpdump host <MASTER-IP> and port <NODEPORT>
  # Mongo工作节点抓包
  tcpdump port <Mongo-Pod-Port>
  

  同时确认两个K8s集群之间的防火墙、网络策略是否允许NodePort端口的双向通信。

• 调整健康检查参数：
  临时修改健康检查配置，降低严格性，验证是否是健康检查逻辑导致的启动失败：

  spring.data.mongodb.health.read-preference=primaryPreferred
  spring.data.mongodb.health.timeout=10s
  

  如果修改后启动正常，说明核心问题是Primary节点的可达性不稳定，需要优先解决网络或ReplicaSet地址配置问题。

内容的提问来源于stack exchange，提问作者user5822650