为MongoDB分片添加副本集后出现数据丢失问题求助

可能原因 #

• 分片转副本集时的元数据异常：shard2、3从单节点转为副本集过程中，元数据未正确同步到mongos，导致部分chunk被标记为无效或丢失。
• chunk重均衡中断：新增分片后集群自动触发重均衡，若过程中出现节点重启、网络问题，可能导致chunk迁移失败，数据处于不可访问状态。
• Helm配置错误：添加副本集时误将分片重置为全新集群，覆盖原有数据；或副本集初始化未同步原单节点数据。
• 统计估算误差：mongos的分片统计是基于元数据的估算值，并非实时全量扫描，需验证实际数据量。

排查步骤 #

1. 检查分片元数据 #

连接mongos执行以下命令，查看所有chunk的归属和状态：

use config
db.chunks.find({}, {_id:0, shard:1, ns:1, min:1, max:1}).sort({shard:1})

确认是否有chunk缺失，或分片归属错误，同时检查db.shards.find()确认分片状态正常。

2. 直接验证分片节点数据 #

绕过mongos，直接连接shard2、3的节点（优先原单节点），执行：

// 切换到目标数据库
use your_database
// 统计实际文档数
db.your_collection.countDocuments()
// 查看数据量
db.your_collection.stats().dataSize

如果实际数据完整，说明是mongos的元数据同步问题，而非真实丢失。

3. 排查集群日志 #

检查mongos、分片节点的日志，重点搜索：

• chunk migration failed
• replica set init error
• shard removed
• data inconsistency
  定位添加副本集过程中的异常事件。

4. 检查均衡器状态 #

确认均衡器是否曾中断：

sh.isBalancerRunning()
sh.getBalancerState()
// 查看均衡器历史
use config
db.locks.find({_id:"balancer"})

恢复方案 #

1. 修复元数据同步问题 #

如果分片节点数据完整但mongos无法识别：

• 刷新分片目录：sh.refreshShardCatalog()
• 重新注册分片：先移除分片sh.removeShard("mongo-shard-2")，再重新添加sh.addShard("mongo-shard-2/mongo-shard2-data-0.mongo-headless.mongodb.svc.cluster.local:27017,...")

2. 恢复原单节点数据 #

若shard2、3的原单节点仍保留完整数据：

• 将原节点设置为副本集主节点，重新同步其他副本成员
• 确保副本集状态正常后，重新注册到集群

3. 备份恢复 #

如果有添加副本集前的备份：

• 使用mongorestore将备份数据恢复到临时集群，再迁移回原集群
• 或直接恢复到对应分片节点，修复元数据后重新接入

4. 手动修复chunk迁移 #

若发现缺失的chunk存在于某个节点：

• 手动指定chunk迁移：sh.moveChunk("db.collection", {shard_key: value}, "target_shard")

预防措施 #

• 操作前全量备份分片数据，包括元数据（config库）
• 分片转副本集时，以原单节点为副本集初始成员，避免初始化空集群
• 操作前暂停均衡器：sh.stopBalancer()，完成配置后再开启：sh.startBalancer()

内容的提问来源于stack exchange，提问作者Michał Picheta