MongoDB 5.0.19中Union操作结果不符合预期的问题求助

核心思路 #

先通过$lookup关联两个集合，自动收集已匹配的cost_center值到一个去重数组，再在$unionWith的子管道中用该数组过滤掉重复记录，避免合并后出现重复条目。

完整聚合管道示例 #

db.external_S_P_FLAT_main_api.aggregate([
  // 1. 关联目标集合并获取匹配记录
  {
    $lookup: {
      from: "external_S_C_FLAT_main_api",
      localField: "cost_center",
      foreignField: "cost_center",
      as: "matched_temp_records"
    }
  },
  // 2. 提取并去重已匹配的cost_center数组
  {
    $addFields: {
      matched_cost_centers: {
        $setUnion: ["$matched_temp_records.cost_center"]
      }
    }
  },
  // 3. 清理临时字段，保留主集合原始数据+匹配数组
  {
    $project: {
      matched_temp_records: 0 // 移除lookup产生的临时数组
    }
  },
  // 4. 合并第二个集合，排除已匹配的cost_center
  {
    $unionWith: {
      coll: "external_S_C_FLAT_main_api",
      pipeline: [
        {
          $match: {
            cost_center: {
              $nin: "$$CURRENT.matched_cost_centers"
            }
          }
        }
      ]
    }
  },
  // 5. 最终清理临时数组字段
  {
    $project: {
      matched_cost_centers: 0
    }
  }
])

步骤说明 #

1. $lookup阶段：关联external_S_C_FLAT_main_api集合，将匹配的记录存入临时数组matched_temp_records。
2. $addFields+$setUnion阶段：从临时数组中提取cost_center值，并用$setUnion自动去重，生成唯一的已匹配值数组matched_cost_centers。
3. 清理临时字段：移除matched_temp_records，避免干扰后续结果。
4. $unionWith阶段：合并第二个集合时，通过$$CURRENT.matched_cost_centers引用之前生成的数组，用$nin排除已匹配的cost_center记录，彻底避免重复。
5. 最终清理：移除临时数组matched_cost_centers，得到干净的合并结果。

注意事项 #

• 确保两个集合中cost_center字段的数据类型完全一致（比如都是字符串），否则会导致匹配失败。
• $setUnion会自动去重，即使主集合有多条文档匹配同一个cost_center，数组中只会保留唯一值，避免无效过滤。

内容的提问来源于stack exchange，提问作者Hemant Joshi