MongoDB聚合数组对去重计数及规避16MB BSON限制方案咨询

云上老周

2026-10-5

可行实现方案（兼容MongoDB 4.4，无需自定义JS函数）

核心逻辑是放弃在$accumulator中批量生成所有关联对再统一去重统计的思路，改为单条文档生成有序关联对后直接打散统计，从根源避免大数组触发BSON大小限制。

聚合管道完整步骤

1. 单条文档生成所有有序用户对

用原生数组运算符替换你当前的$accumulator逻辑，为每条记录生成所有有序二元关联对：

{
  $project: {
    pairs: {
      $reduce: {
        input: "$users",
        initialValue: [],
        in: {
          $concatArrays: [
            "$$value",
            {
              $map: {
                input: {
                  $filter: {
                    input: "$users",
                    cond: { $ne: ["$$this", "$$current"] }
                  }
                },
                as: "other",
                in: ["$$current", "$$other"]
              }
            }
          ]
        },
        as: "current"
      }
    }
  }
}

该阶段输出的有序关联对和你现有逻辑的输出完全一致，原生运算符执行效率远高于自定义JS函数。

2. 打散数组后分组统计

使用$unwind将关联对数组拆分为单条记录，再通过$group按关联对分组统计出现次数，MongoDB原生支持数组、嵌套对象作为分组键，深度值对比完全符合唯一值判定需求：

// 打散所有关联对
{ $unwind: "$pairs" },
// 按关联对分组统计次数
{
  $group: {
    _id: "$pairs",
    count: { $sum: 1 }
  }
}

3. 调整为目标输出格式

如果需要和你给出的示例完全一致的[[关联对, 次数]]结构，可以追加如下阶段调整输出：

// 单条结果格式转换
{
  $project: {
    _id: 0,
    item: ["$_id", "$count"]
  }
},
// 可选：合并为单个数组输出
{
  $group: {
    _id: null,
    result: { $push: "$item" }
  }
}

方案优势

完全规避16MB BSON限制：无需将所有关联对攒入单个文档的数组，全程流式处理，查询规模不受关联对总量限制
无自定义JS逻辑：不需要手动实现对象哈希、去重逻辑，避免了JS运行环境的性能损耗和功能限制
兼容性强：用到的所有聚合运算符均为MongoDB 4.0版本就已支持的基础能力，完美适配你使用的4.4.1版本

内容的提问来源于stack exchange，提问作者Matt Daley