MongoDB副本集清理90天前旧数据的高效低负载方案咨询

1. 用TTL索引自动后台清理（适合长期维护） #

如果你的清理规则是固定保留90天数据，且针对特定callData.path，可以创建复合TTL索引，让MongoDB自动在后台低负载时段清理旧数据，避免手动执行大删除的压力：

db.Clicks.createIndex(
  { "callData.date": 1, "callData.path": 1 },
  { 
    expireAfterSeconds: 86400 * 90,
    partialFilterExpression: {
      "callData.path": { $in: ["/info-dubai", "/info-qatar"] }
    }
  }
)

• 核心优势：增量式后台清理，不会一次性触发大量IO，无需手动执行删除命令
• 注意：TTL索引不会立即删除所有旧数据，会分批次在后台执行，适合长期稳定的维护场景

2. 批量分段删除（降低单次IO与锁压力） #

如果必须手动清理，不要一次性删除所有符合条件的数据，拆分为小批量循环删除，分散负载：

// 每次删除1000条，循环直到无数据可删
const batchSize = 1000;
let deletedCount = 0;
do {
  const result = db.Clicks.deleteMany(
    { 
      "callData.path": { $in: ["/info-dubai", "/info-qatar"] },
      "callData.date": { $lt: new Date(Date.now() - 86400000 * 90) }
    },
    { limit: batchSize }
  );
  deletedCount = result.deletedCount;
  print(`Deleted ${deletedCount} records`);
  // 每次删除后短暂休眠，降低IO峰值
  sleep(1000);
} while (deletedCount > 0);

• 核心优势：将大删除拆分为多个小操作，避免长时间锁集合，IO压力更平缓
• 建议：在业务低峰期执行，进一步降低对线上服务的影响

3. 副本集滚动重建集合（替代compact，低负载释放空间） #

compact命令会在当前节点上全量重建集合，IO负载极高，建议用滚动重建逐个处理节点，不影响集群可用性：

1. 选择一个从节点，将其从副本集中移除（设置为独立节点）
2. 在该节点上，导出需要保留的数据：

   mongodump --db your_db_name --collection Clicks --query '{ "callData.date": { $gte: new Date(Date.now() - 86400000 * 90) }, "callData.path": { $in: ["/info-dubai", "/info-qatar"] } }' --out ./backup
   

3. 删除原集合，再导入备份数据：

   mongorestore --db your_db_name --collection Clicks ./backup/your_db_name/Clicks.bson
   

4. 将该节点重新加入副本集，等待数据同步完成
5. 对其他从节点重复上述步骤，最后处理主节点（先降级为从节点再操作）

• 核心优势：单个节点离线处理，不影响整个集群服务，重建后的集合无碎片，磁盘空间直接释放，比compact更可控

4. 集合分区（提前规划，彻底避免大规模清理） #

如果业务允许，按callData.date或callData.path拆分集合（比如按月份分区：Clicks_202401、Clicks_202402），清理旧数据时直接删除整个分区集合：

• 核心优势：删除操作瞬间完成，无IO压力，磁盘空间直接释放
• 注意：需要修改写入逻辑，将数据写入对应分区集合，查询时需合并多个分区的结果

内容的提问来源于stack exchange，提问作者Joom187