如何用MongoDB聚合管道按多字段任一匹配分组grades数据？

原始数据 #

grades集合的部分数据（存在字段缺失）：

需求 #

按Name、ID、Github中任一匹配项对数据分组，收集对应Points，预期结果：

当前后端实现（内存处理） #

当前通过后端代码在内存中分组，但数据规模1000-10000条（100-1000学生×10次作业），且文档包含大量未使用字段，全量加载内存成本高：

const students = new Map<string, CourseStudent>();
const keys = ['Name', 'ID', 'Github'];
for (const grade of grades) {
  let student: CourseStudent | undefined = undefined;
  for (const key of keys) {
    const value = grade[key];
    if (value && (student = students.get(value))) {
      break;
    }
  }
  if (!student) {
    const {Name, ID, Github} = grade;
    student = {_id: {Name, ID, Github}, points: []};
  }
  for (const key of keys) {
    const value = grade[key];
    if (value) {
      students.set(value, student);
    }
  }

  student.points.push(grade.points);
}
return Array.from(students.values());

之前尝试的聚合语句仅能实现所有字段匹配才分组，不符合需求：

{$group: {_id: ['$Name', '$ID', '$Github'], points: {$push: '$Points'}}},

数据库聚合管道解决方案 #

可以通过MongoDB的$graphLookup（图聚合）实现"任一匹配即分组"的逻辑，所有计算在数据库端完成，无需全量加载数据到内存：

db.grades.aggregate([
  // 为每个文档添加唯一标识，用于后续区分连通分量
  { $addFields: { docId: "$_id" } },
  // 图查找：遍历所有通过Name/ID/Github关联的文档
  {
    $graphLookup: {
      from: "grades",
      startWith: ["$Name", "$ID", "$Github"],
      connectFromField: "values",
      connectToField: "values",
      as: "connectedDocs",
      // 过滤掉所有标识字段为空的无效文档
      restrictSearchWithMatch: {
        $expr: {
          $gt: [{ $size: { $filter: { input: ["$Name", "$ID", "$Github"], cond: { $ne: ["$$this", ""] } } } }, 0]
        }
      },
      // 生成当前文档的非空标识数组，用于匹配关联文档
      pipeline: [
        {
          $addFields: {
            values: {
              $filter: {
                input: ["$Name", "$ID", "$Github"],
                cond: { $ne: ["$$this", ""] }
              }
            }
          }
        }
      ]
    }
  },
  // 将当前文档与关联文档合并为一个数组
  { $addFields: { allDocs: { $concatArrays: [[$$ROOT], "$connectedDocs"] } } },
  // 按连通分量分组：用分量中最小的docId作为唯一键，避免重复分组
  {
    $group: {
      _id: { minDocId: { $min: "$allDocs.docId" } },
      points: { $push: "$Points" },
      names: { $addToSet: "$Name" },
      ids: { $addToSet: "$ID" },
      githubs: { $addToSet: "$Github" }
    }
  },
  // 整理为预期的输出格式：过滤空值后生成_id数组，合并Points
  {
    $addFields: {
      _id: [
        { $first: { $filter: { input: "$names", cond: { $ne: ["$$this", ""] } } } },
        { $first: { $filter: { input: "$ids", cond: { $ne: ["$$this", ""] } } } },
        { $first: { $filter: { input: "$githubs", cond: { $ne: ["$$this", ""] } } } }
      ],
      points: { $reduce: { input: "$points", initialValue: [], in: { $concatArrays: ["$$value", ["$$this"]] } } }
    }
  },
  // 移除中间字段
  { $project: { names: 0, ids: 0, githubs: 0 } }
])

逻辑说明 #

1. $addFields：给每个文档添加唯一docId，用于后续识别同一个连通分量，避免重复分组。
2. $graphLookup：核心步骤，通过图遍历找到所有关联文档——只要两个文档有任一非空的Name/ID/Github相同，就会被归为同一个连通分量。
3. 合并文档数组：将当前文档和其关联文档合并，方便后续聚合操作。
4. 按连通分量分组：用连通分量中最小的docId作为分组键，确保同一个学生的所有记录只被分组一次，同时收集所有Points和标识字段。
5. 整理输出格式：过滤标识字段的空值，生成预期的_id数组，合并Points列表。

注意事项 #

• 确保Name/ID/Github的组合能唯一标识学生，避免不同学生因某字段重复被错误分组。
• 若数据规模极大，可调整$graphLookup的maxDepth参数限制遍历深度，提升性能（本场景下默认深度即可）。

内容的提问来源于stack exchange，提问作者Clashsoft