如何将MongoDB大型集合按guildID字段拆分为多个独立小集合

可以通过MongoDB聚合操作实现该需求，具体操作步骤如下： #

步骤1：获取所有唯一的guildID值 #

运行distinct命令拿到集合中所有不重复的guildID：

const guildIds = db.messages.distinct("guildID");

步骤2：遍历guildID执行聚合拆分 #

通过循环遍历每一个guildID，使用$match匹配对应文档后，用$out阶段写入新的目标集合：

guildIds.forEach(guildId => {
  // 拼接目标集合名称，符合messages_{guildID}格式
  const targetCollName = `messages_${guildId}`;
  db.messages.aggregate([
    // 筛选当前guildID的全部文档
    {
      $match: {
        guildID: guildId
      }
    },
    // 把匹配到的所有文档输出到指定集合
    {
      $out: targetCollName
    }
  ]);
})

注意事项 #

• 数据总量为500万，建议在业务低峰时段执行操作，避免占用过多IO资源影响正常业务请求
• 若需要增量拆分后续新增的文档，可以将$out替换为$merge阶段，避免覆盖已有集合的旧数据
• 操作完成后可执行计数比对验证数据准确性，示例：

  // 原集合对应guildID的文档计数
  const originCount = db.messages.countDocuments({guildID: "替换为待验证的guildID"});
  // 拆分后新集合的文档计数
  const newCount = db.messages_替换为待验证的guildID.countDocuments();
  // 两者结果应完全相等
  

内容的提问来源于stack exchange，提问作者Robyn Parkinson