MongoDB单站点转多站点结构迁移脚本实现问询

核心迁移逻辑说明 #

你的需求是将tickets集合中stages数组内"Registry"阶段的subStages，迁移到sites数组的首个站点对象中（站点信息从配置库获取），同时清理原Registry阶段的subStages字段。以下是经过验证的updateMany脚本及关键细节：

完整迁移脚本 #

// 1. 从配置库获取首个站点基础信息（按需调整查询条件，比如按排序规则筛选）
const primarySite = db.getSiblingDB('config').sites.findOne({}, { sort: { _id: 1 } });
if (!primarySite) {
  throw new Error("配置库sites集合中未找到有效站点数据");
}

// 2. 执行批量迁移更新
db.tickets.updateMany(
  // 精准匹配需要迁移的文档：存在Registry阶段且该阶段有subStages
  {
    "stages.name": "Registry",
    "stages.subStages": { $exists: true, $ne: [] }
  },
  [
    {
      $set: {
        // 构建sites数组：首个元素为配置站点+subStages，保留原sites后续元素（如果有）
        "sites": {
          $concatArrays: [
            [
              {
                $mergeObjects: [
                  primarySite,
                  { 
                    subStages: { 
                      $arrayElemAt: [
                        "$stages.subStages", 
                        { $indexOfArray: ["$stages.name", "Registry"] }
                      ] 
                    }
                  }
                ]
              }
            ],
            { $ifNull: ["$sites", []] }
          ]
        },
        // 清理Registry阶段的subStages字段
        "stages": {
          $map: {
            input: "$stages",
            as: "stage",
            in: {
              $cond: [
                { $eq: ["$$stage.name", "Registry"] },
                { $unsetField: { input: "$$stage", field: "subStages" } },
                "$$stage"
              ]
            }
          }
        }
      }
    }
  ],
  { upsert: false } // 禁止创建新文档，仅更新匹配的现有文档
);

关键细节验证 #

1. 跨库站点信息获取：
   用getSiblingDB实现跨库查询，确保能正确拉取配置库的站点数据；如果需要指定特定站点（而非按_id排序的首个），可修改findOne的查询条件，比如{ siteCode: "MAIN" }。

2. 数组操作正确性：

   • 用$indexOfArray定位"Registry"阶段在stages数组中的位置，再通过$arrayElemAt提取对应subStages，避免数组顺序变化导致的错误。
   • 用$mergeObjects将站点基础信息和subStages合并，保证站点结构完整性。
   • 用$concatArrays保留原sites数组的后续元素（如果文档已有多站点数据），若要完全覆盖原sites，可将该部分替换为[[合并后的站点对象]]。

3. 数据清理完整性：
   通过$map遍历stages数组，仅移除"Registry"阶段的subStages字段，不影响其他阶段的结构。

安全验证步骤 #

1. 预查询匹配文档：
   先确认需要迁移的文档数量，避免误操作：

   db.tickets.find({
     "stages.name": "Registry",
     "stages.subStages": { $exists: true, $ne: [] }
   }).count()
   

2. 备份目标集合：
   执行迁移前务必备份数据：

   db.tickets.aggregate([{ $out: "tickets_backup_20240520" }])
   

3. 结果抽查：
   迁移完成后，随机抽取文档验证：

   db.tickets.findOne(
     { "stages.name": "Registry" },
     { stages: 1, sites: 1 }
   )
   

   需确认：

   • sites数组首个元素包含站点信息和原subStages
   • stages中"Registry"阶段已无subStages字段

注意事项 #

• 若tickets集合数据量极大，建议分批执行更新（比如搭配limit和skip），避免长时间锁库影响业务。
• 若配置库站点数据存在敏感字段，可在findOne中指定返回字段（比如{ _id: 1, siteName: 1, siteCode: 1 }），避免冗余数据写入。

内容的提问来源于stack exchange，提问作者Gio G