如何用脚本从MongoDB Atlas增量同步数据到本地数据库？

一、导出MongoDB Atlas所有集合数据 #

使用MongoDB官方工具mongodump即可批量导出所有集合，步骤如下：

1. 在MongoDB Atlas控制台获取远程连接字符串（路径：Connect → Connect with mongo shell，复制对应链接并替换用户名、密码）
2. 执行以下命令将所有集合导出到本地指定目录：

mongodump --uri "mongodb+srv://<用户名>:<密码>@cluster0.mongodb.net/<数据库名>" --out ./atlas-full-backup

执行完成后，./atlas-full-backup目录下会生成对应数据库的所有集合备份文件。

二、自动增量同步远程新数据到本地的脚本实现 #

以下用Node.js结合MongoDB驱动实现增量同步逻辑，核心是只同步本地不存在的新数据，不修改/删除任何已有数据。

1. 准备依赖 #

初始化项目并安装MongoDB驱动：

npm init -y
npm install mongodb

2. 编写同步脚本（sync-atlas-local.js） #

const { MongoClient } = require('mongodb');

// 替换为你的实际连接信息
const REMOTE_ATLAS_URI = 'mongodb+srv://<用户名>:<密码>@cluster0.mongodb.net/<远程数据库名>';
const LOCAL_MONGO_URI = 'mongodb://localhost:27017/<本地数据库名>';

async function syncNewData() {
    // 建立远程与本地数据库连接
    const remoteClient = await MongoClient.connect(REMOTE_ATLAS_URI);
    const localClient = await MongoClient.connect(LOCAL_MONGO_URI);

    const remoteDb = remoteClient.db();
    const localDb = localClient.db();

    // 获取远程数据库的所有集合列表
    const collections = await remoteDb.listCollections().toArray();
    const collectionNames = collections.map(col => col.name);

    // 遍历每个集合执行增量同步
    for (const colName of collectionNames) {
        console.log(`处理集合: ${colName}`);
        
        const remoteCol = remoteDb.collection(colName);
        const localCol = localDb.collection(colName);

        // 获取本地集合中最新的文档（通过ObjectId判断，默认ObjectId包含创建时间戳）
        const latestLocalDoc = await localCol.findOne({}, { sort: { _id: -1 } });
        let query = {};
        
        // 如果本地已有数据，只同步_id大于本地最新文档的新数据
        if (latestLocalDoc) {
            query = { _id: { $gt: latestLocalDoc._id } };
        }

        // 拉取远程新数据
        const newDocs = await remoteCol.find(query).toArray();
        
        if (newDocs.length > 0) {
            // 批量插入本地，仅新增不覆盖
            await localCol.insertMany(newDocs);
            console.log(`集合 ${colName} 同步完成，新增 ${newDocs.length} 条数据`);
        } else {
            console.log(`集合 ${colName} 无新数据需要同步`);
        }
    }

    // 关闭数据库连接
    await remoteClient.close();
    await localClient.close();
    console.log('全集合增量同步完成');
}

// 执行同步逻辑，捕获错误
syncNewData().catch(err => {
    console.error('同步出错:', err);
    process.exit(1);
});

脚本说明 #

• 增量判断逻辑：利用MongoDB默认_id的时间戳特性，新创建的文档_id会大于旧文档，以此筛选远程新数据；如果你的业务有自定义的创建时间字段（如createdAt），可将查询条件替换为{ createdAt: { $gt: latestLocalDoc.createdAt } }
• 数据安全：使用insertMany仅插入新数据，不会修改或删除本地已有数据
• 自动执行：可通过系统定时任务（Linux cron、Windows任务计划）定期运行脚本，实现自动同步

注意事项 #

• 确保本地MongoDB服务处于运行状态（默认端口27017）
• 替换脚本中连接字符串的用户名、密码、数据库名
• 若集合存在自定义唯一索引，可在insertMany中添加{ ordered: false }参数跳过重复数据报错

内容的提问来源于stack exchange，提问作者Heiko