MongoDB每日跨集合复制数据需求：替代已废弃的copyTo方法

嗨，这个问题我太熟了——自从MongoDB 3.0把db.collection.copyTo()废弃之后，确实得换些更靠谱的方式来搞定数据同步。结合你每日同步collection1过去24小时数据到collection2的需求，给你几个实用的方案，你可以根据自己的MongoDB版本和场景来选：

方案1：用聚合管道的$merge操作（首推，MongoDB 4.2+支持） #

$merge绝对是增量同步的最优解，它能把聚合查询的结果合并到目标集合，还能灵活处理重复数据（比如遇到相同_id的文档，你可以选跳过、替换或者更新）。

每天运行这段代码就行：

// 算出24小时前的时间戳
var twentyFourHoursAgo = new Date(Date.now() - 24 * 60 * 60 * 1000);

db.collection1.aggregate([
  // 筛选出过去24小时新增的数据
  { $match: { createdAt: { $gte: twentyFourHoursAgo } } },
  // 合并到collection2，这里设置重复时保留原有文档（按需调整）
  {
    $merge: {
      into: "collection2",
      on: "_id",
      whenMatched: "keepExisting",
      whenNotMatched: "insert"
    }
  }
]);

小提示：这里假设你用createdAt字段记录数据创建时间，如果你的TTL索引是基于其他字段（比如expireAt），把$match里的字段换成TTL对应的就行。

方案2：用聚合管道的$out操作（MongoDB 3.4+支持） #

如果你的MongoDB版本低于4.2，没法用$merge，那可以试试$out。不过要注意，$out会直接替换目标集合的所有数据，所以我们得绕个弯，先把数据导出到临时集合，再插入到collection2：

var twentyFourHoursAgo = new Date(Date.now() - 24 * 60 * 60 * 1000);

// 把筛选后的数据导出到临时集合
db.collection1.aggregate([
  { $match: { createdAt: { $gte: twentyFourHoursAgo } } },
  { $out: "collection2_temp" }
]);

// 把临时集合的数据插入到目标集合
db.collection2_temp.find().forEach(doc => db.collection2.insertOne(doc));
// 清理临时集合
db.collection2_temp.drop();

这个方案步骤多一点，但胜在兼容性好，适合旧版本MongoDB。

方案3：用mongodump + mongorestore命令行工具 #

如果你习惯用系统定时任务（比如Linux的cron），用命令行工具会更方便，不需要写复杂的脚本：

# 第一步：导出collection1过去24小时的数据到临时目录
mongodump --db your_db_name --collection collection1 --query '{ "createdAt": { "$gte": ISODate("'"$(date -d '-24 hours' +%Y-%m-%dT%H:%M:%SZ)"'") } }' --out /tmp/mongo_dump

# 第二步：把导出的数据恢复到collection2
mongorestore --db your_db_name --collection collection2 /tmp/mongo_dump/your_db_name/collection1.bson

# 第三步：清理临时文件
rm -rf /tmp/mongo_dump

注意：不同系统的日期命令格式不一样，比如MacOS要把date -d '-24 hours'改成date -v -24H，别写错了哦。

方案4：用编程语言写同步脚本（适合复杂逻辑） #

如果同步前需要做数据转换、过滤等复杂操作，用编程语言的MongoDB驱动写脚本会更灵活。举个Node.js的例子：

const { MongoClient } = require('mongodb');

async function syncCollectionData() {
  const client = new MongoClient('mongodb://localhost:27017');
  try {
    await client.connect();
    const db = client.db('your_db_name');
    const twentyFourHoursAgo = new Date(Date.now() - 24 * 60 * 60 * 1000);
    
    // 查询过去24小时的数据
    const dataCursor = db.collection('collection1').find({ createdAt: { $gte: twentyFourHoursAgo } });
    
    // 批量插入到collection2
    await db.collection('collection2').insertMany(await dataCursor.toArray());
    console.log('数据同步完成！');
  } catch (err) {
    console.error('同步出错：', err);
  } finally {
    await client.close();
  }
}

syncCollectionData();

这个脚本可以用node-schedule定时运行，或者加到系统的cron任务里。Python版本的逻辑类似，用pymongo库就能实现。

最后提醒一句：不管选哪个方案，先在测试环境跑一遍，确保数据同步正确，别影响到生产环境的TTL索引逻辑哦！

内容的提问来源于stack exchange，提问作者Dheeraj