MongoDB从4.4.29升级至8.0.3后的数据恢复失败求助

1. 解决Invariant Failure错误并恢复数据 #

错误日志显示admin.system.version集合的_id_索引存在buildUUID验证失败，根源是升级到MongoDB 8.0.3后恢复的不完整admin备份污染了原4.4.29的数据目录，导致版本不兼容的元数据冲突。以下是可行的修复步骤：

步骤1：隔离受损的admin集合，导出正常数据 #

1. 停止所有MongoDB进程：

   sudo systemctl stop mongod
   

2. 复制原数据目录到临时备份，避免破坏原始文件：

   sudo cp -r /var/lib/mongo /var/lib/mongo_temp
   

3. 删除临时目录中的admin文件夹：

   sudo rm -rf /var/lib/mongo_temp/admin
   

4. 启动MongoDB实例指向临时目录，跳过repair：

   sudo mongod --dbpath /var/lib/mongo_temp --port 27018
   

5. 如果实例成功启动，使用mongodump导出所有非admin数据库：

   mongodump --port 27018 --out /var/lib/mongo_full_recovery_dump
   

6. 关闭临时实例，重新启动默认端口的4.4.29实例，先恢复原admin备份，再导入导出的非admin数据：

   # 恢复admin集合
   mongorestore --db admin /path/to/your/original_admin_dump
   # 恢复其他数据库
   mongorestore /var/lib/mongo_full_recovery_dump
   

步骤2：修复admin集合的索引问题 #

如果步骤1无法启动实例，尝试跳过索引构建并手动修复：

1. 启动实例时添加--noIndexBuildRetry参数：

   sudo mongod --dbpath /var/lib/mongo_temp --noIndexBuildRetry
   

2. 连接到mongosh，手动重建admin.system.version的索引：

   use admin
   db.system.version.reIndex()
   

3. 正常关闭实例，重新启动不带额外参数的实例，验证是否能正常运行，再执行全量备份。

2. 其他数据恢复替代方案 #

文件级修复（WiredTiger引擎） #

如果使用WiredTiger存储引擎，可直接使用对应版本的wt工具修复单个受损集合：

1. 进入临时数据目录的admin文件夹：

   cd /var/lib/mongo_temp/admin
   

2. 使用MongoDB 4.4.29自带的wt工具修复system.version集合：

   sudo /usr/bin/wt -h . repair system.version
   

   注意：必须使用与原MongoDB版本一致的wt工具，避免版本不兼容。

分库恢复 #

如果原数据目录中其他数据库文件完整，可单独移动这些数据库目录到新的MongoDB数据目录，启动实例后逐个导出：

1. 创建新的空数据目录：

   sudo mkdir /var/lib/mongo_clean
   sudo chown mongod:mongod /var/lib/mongo_clean
   

2. 从原备份目录复制非admin的数据库文件夹到新目录：

   sudo cp -r /var/lib/mongo_backup/[your_db_name] /var/lib/mongo_clean/
   sudo chown -R mongod:mongod /var/lib/mongo_clean/[your_db_name]
   

3. 启动实例指向新目录，导出该数据库后再合并到恢复好的admin环境中。

内容的提问来源于stack exchange，提问作者Jainil Buddhdev