无预先字段认知的MongoDB多文档合并方案问询

我需要合并多个MongoDB文档，这些文档多数字段值一致，但可能存在1-2个预先未知的字段值不同。目标是合并后保留值一致的字段，仅将存在差异的字段转为值数组。

原实现的问题 #

最初我通过公共字段$0020000E.Value分组，只保留组内首个文档，但这种方式会直接丢失其他文档的差异字段信息：

group_documents = {
    "$group": {
      "_id": "$0020000E.Value",
      "doc": {
        "$first": "$$ROOT"
      }
    }
}

merge_documents = {
    "$replaceRoot": {
      "newRoot": "$doc"
    }
}

write_collection = { "$out": { "db": "database", "coll": "records_nd" } }

objects = coll.aggregate(pipeline)

已知差异字段时的常规方案（仅作参考，无法适配未知场景）：

• 基于ID合并文档的方案
• PHP环境下的文档合并方案
• 按公共字段过滤合并的方案
  其中第三种方案的输出形式和需求接近，但所有这类方案都需要预先指定差异字段，无法处理未知差异的场景。

解决方案：自动识别差异的聚合管道 #

通过MongoDB的$objectToArray、$reduce、表达式内$group等操作，可以自动处理所有字段，无需预先指定差异字段。完整聚合管道代码如下：

pipeline = [
    # 1. 按公共字段分组，收集同组所有文档
    {
        "$group": {
            "_id": "$0020000E.Value",
            "all_docs": { "$push": "$$ROOT" }
        }
    },
    # 2. 将所有文档转为键值对数组并合并
    {
        "$addFields": {
            "all_kv": {
                "$reduce": {
                    "input": "$all_docs",
                    "initialValue": [],
                    "in": { "$concatArrays": ["$$value", { "$objectToArray": "$$this" }] }
                }
            }
        }
    },
    # 3. 按字段名聚合，收集每个字段的所有去重值
    {
        "$addFields": {
            "field_values": {
                "$group": {
                    "input": "$all_kv",
                    "id": "$k",
                    "values": { "$addToSet": "$v" }
                }
            }
        }
    },
    # 4. 处理字段值：单值保留原值，多值转为数组
    {
        "$addFields": {
            "merged_kv": {
                "$map": {
                    "input": "$field_values",
                    "as": "fv",
                    "in": {
                        "k": "$$fv._id",
                        "v": {
                            "$cond": {
                                "if": { "$eq": [{ "$size": "$$fv.values" }, 1] },
                                "then": { "$arrayElemAt": ["$$fv.values", 0] },
                                "else": "$$fv.values"
                            }
                        }
                    }
                }
            }
        }
    },
    # 5. 将键值对数组转回文档，替换根节点
    {
        "$replaceRoot": {
            "newRoot": { "$arrayToObject": "$merged_kv" }
        }
    },
    # 6. 输出到目标集合
    {
        "$out": { "db": "database", "coll": "records_nd" }
    }
]

objects = coll.aggregate(pipeline)

步骤说明 #

1. 分组收集文档：按$0020000E.Value将同组文档全部存入all_docs数组，避免丢失任何字段信息。
2. 统一键值对格式：把每个文档转为{k:字段名, v:字段值}的数组，再合并成一个包含所有字段的大数组all_kv。
3. 聚合字段值：按字段名分组，用$addToSet收集每个字段的所有去重值，自动识别哪些字段存在差异。
4. 处理字段结果：对每个字段的去重值列表判断，长度为1说明所有文档该字段值一致，直接保留单个值；长度大于1则保留数组形式。
5. 还原文档结构：把处理后的键值对数组转回标准MongoDB文档，替换根节点后输出到目标集合。

内容的提问来源于stack exchange，提问作者Axe_83