MongoDB副本集数据损坏：计数正常但部分文档查询无返回问题咨询

可能成因 #

• 索引损坏：db.collection.count()默认读取集合元数据中的统计值，不需要遍历全量文档或走二级索引，因此索引损坏不会影响计数结果。而通过RecordID字段查询时会命中对应二级索引，索引结构损坏会导致已存在的文档无法被索引检索到，符合你遇到的部分记录、连续区间记录查询无返回的现象。
• 集合元数据与实际数据不一致：如果历史上发生过主节点切换、写入回滚、底层磁盘IO异常等情况，集合的计数元数据没有和实际写入/删除的文档同步更新，就会出现计数虚高，实际对应文档不存在的问题。
• 单节点数据损坏：副本集中某一个或多个节点的存储文件损坏，查询时流量路由到损坏节点就会偶发查询不到的情况，你的副本集同步延迟为0仅代表oplog同步进度一致，不代表节点本地存储的数据文件没有损坏。
• 写入策略导致的数据丢失：如果写入时使用的写确认级别低于多数节点确认（w<"majority"），写入主节点后还未同步到从节点时主节点故障，这部分写入会被回滚，但计数元数据可能未同步修正。

进一步排查步骤 #

• 强制路由主节点查询：执行db.setReadPref("primary")固定读主节点，再次查询缺失的RecordID，确认问题是否是从节点数据异常导致。
• 比对两种计数结果：执行db.records.find().itcount()全表遍历统计文档数，和db.records.count()的结果对比，如果两者数值不一致，即可确认是元数据计数异常。
• 校验集合完整性：执行db.records.validate(true)对集合的文档、索引做全量校验，返回结果中会明确提示是否存在索引损坏、文档损坏、索引和文档不匹配的问题。
• 逐节点校验数据：分别直连三个副本集节点执行相同的RecordID查询，确认是所有节点都存在该问题，还是仅个别节点数据损坏。
• 查看数据库运行日志：排查故障时间段内的MongoDB日志，重点关注IO错误、索引报错、回滚操作相关的日志条目。

数据恢复方案 #

• 备份恢复（最优方案）：你已经通过备份恢复解决了问题，这是副本集场景下风险最低、数据一致性最有保障的恢复方案。
• 索引损坏场景：如果排查确认仅为RecordID二级索引损坏，不需要处理原始数据，直接执行db.records.dropIndex("RecordID_1")删除损坏索引，再重新创建对应索引即可恢复查询能力。
• 单节点损坏场景：如果仅个别节点数据异常，直接下线损坏节点，删除本地数据目录后重新加入集群，节点会自动从健康节点执行全量同步完成数据修复。
• 全集群数据损坏场景：将其中一个节点调整为单实例模式离线运行，执行repairDatabase命令尝试修复损坏的存储文件，修复完成后以该节点为基础重新搭建副本集即可，注意该操作可能会永久丢失无法修复的损坏数据。
• 临时规避方案：排查期间可以使用db.records.find({"RecordID": xxx}).hint({$natural:1})强制走全表扫描绕过二级索引，验证原始文档是否存在。

内容的提问来源于stack exchange，提问作者pengz