Kubernetes上MongoDB StatefulSet副本集故障：新Pod无法加入报错

我来帮你排查这个问题——这种情况在Kubernetes上部署MongoDB副本集时挺常见的，核心原因通常是新Pod无法被现有副本集配置识别，或者初始化逻辑没处理好Pod重启后的场景。下面是一步步的排查和解决方法：

1. 先确认现有副本集的配置状态 #

首先进入一个正常运行的MongoDB Pod，查看当前副本集的成员列表：

kubectl exec -it mongodb-0 -- mongo

在Mongo Shell里执行以下命令：

rs.conf() // 查看副本集的配置详情
rs.status() // 查看各成员的状态

重点看members数组里是否包含重建后的Pod条目（比如mongodb-2.mongodb-headless.your-namespace.svc.cluster.local），以及该条目的stateStr状态。如果没有这个条目，或者状态是UNKNOWN/DOWN，那就是配置缺失或未更新的问题。

2. 手动将新Pod加入副本集 #

如果副本集配置里缺少新Pod的条目，在主节点的Mongo Shell里执行添加命令（替换成你的服务域名和命名空间）：

rs.add("mongodb-2.mongodb-headless.default.svc.cluster.local:27017")

执行完后再次用rs.conf()确认条目已添加，rs.status()查看新Pod的状态是否变为SECONDARY。

3. 检查StatefulSet的初始化/启动脚本 #

很多时候问题出在启动脚本里没有用固定的域名而是用了Pod的IP（重启后IP会变化）。确保你的启动脚本里用Pod的完整域名来标识节点，而不是IP：

# 获取Pod的完整域名（StatefulSet的Pod hostname是固定的）
MY_FQDN=$(hostname -f)

# 主节点（第一个Pod）初始化副本集
if [ "${MY_POD_NAME}" = "mongodb-0" ]; then
  mongod --replSet rs0 --bind_ip_all &
  sleep 10
  mongo --eval "rs.initiate({_id: 'rs0', members: [{_id: 0, host: '${MY_FQDN}:27017'}]})"
else
  # 从节点连接主节点并加入副本集
  mongod --replSet rs0 --bind_ip_all &
  sleep 10
  mongo mongodb-0.mongodb-headless.default.svc.cluster.local:27017 --eval "rs.add('${MY_FQDN}:27017')"
fi

这里的关键是用hostname -f获取固定的FQDN，而不是依赖Pod的临时IP。

4. 验证Headless Service配置 #

确保你使用的Headless Service是正确配置的，它为StatefulSet的Pod提供固定的DNS解析：

apiVersion: v1
kind: Service
metadata:
  name: mongodb-headless
spec:
  selector:
    app: mongodb # 要匹配StatefulSet的Pod标签
  clusterIP: None # 必须设置为None，才会为每个Pod分配独立的DNS记录
  ports:
    - port: 27017
      targetPort: 27017

5. 排查网络连通性问题 #

如果上面的步骤都没解决，检查新Pod和主节点之间的网络是否通畅：

• 在新Pod里执行ping mongodb-0.mongodb-headless.default.svc.cluster.local，看是否能解析并连通
• 检查是否有NetworkPolicy阻止了Pod之间的27017端口通信
• 查看新Pod的日志，确认是否有连接超时或拒绝的错误：

kubectl logs mongodb-2

按照这些步骤排查下来，基本能解决新Pod无法加入副本集的问题。如果还是有疑问，可以把rs.conf()和Pod日志的具体内容贴出来，我再帮你分析。

内容的提问来源于stack exchange，提问作者Vinayak Pandey