MongoDB 拆分含子文档数组的文档为两份解决BSON超容问题

前置说明 #

• 操作前必须对目标集合做全量备份，避免误操作导致数据丢失
• 建议先在测试环境跑通拆分逻辑，校验结果符合预期后再操作生产环境数据
• 如果对半拆分后单文档大小仍接近16MB BSON上限，可调整拆分比例，拆成3份或更多份即可

拆分实现脚本 #

直接在Mongo Shell中执行以下脚本即可完成批量拆分，记得替换yourCollection为你实际的集合名，数组长度阈值可根据你自己的业务场景调整：

// 筛选所有Items数组长度超过阈值的待拆分文档
db.yourCollection.find({
  $expr: { $gt: [{ $size: "$Items" }, 2000] }
}).forEach(doc => {
  const itemCount = doc.Items.length
  // 计算拆分位置，向上取整保证原文档长度不小于新文档
  const splitPos = Math.ceil(itemCount / 2)
  // 原文档保留前半段Items
  const firstHalf = doc.Items.slice(0, splitPos)
  // 新文档保留后半段Items
  const secondHalf = doc.Items.slice(splitPos)

  // 更新原文档，替换Items数组
  db.yourCollection.updateOne(
    { _id: doc._id },
    { $set: { Items: firstHalf } }
  )

  // 构造新文档，继承原文档所有字段，仅修改_id、DocumentId和Items数组
  const newDoc = Object.assign({}, doc, {
    _id: new ObjectId(),
    // 按你的需求加后缀区分，原DocumentId为0000001的话新的就是0000001B
    DocumentId: doc.DocumentId + "B",
    Items: secondHalf
  })

  // 插入新文档
  db.yourCollection.insertOne(newDoc)
})

结果校验 #

拆分完成后执行以下查询验证结果是否正确：

// 查看原文档信息
db.yourCollection.findOne({ DocumentId: "0000001" })
// 查看拆分生成的新文档信息
db.yourCollection.findOne({ DocumentId: "0000001B" })

确认两份文档的Items数组总长度和原文档一致，其余字段（除_id、DocumentId外）完全匹配即可。

后续字段更新 #

拆分完成后所有文档大小均低于BSON上限，即可正常执行子文档新增字段操作，示例如下：

// 给所有Items子文档新增示例字段NewField
db.yourCollection.updateMany(
  {},
  { $set: { "Items.$[].NewField": 1 } }
)

长期优化建议 #

如果后续Items数组还会持续新增元素，建议调整Schema设计避免再次触达大小上限：

• 将Items数组拆分为独立集合，用DocumentId作为关联字段做关联查询
• 如果必须保留内嵌数组结构，提前设置数组长度阈值，达到阈值自动触发拆分

内容的提问来源于stack exchange，提问作者Kevin O.