MongoDB复杂聚合查询执行及结果导出方案咨询

针对你提到的230万+50万文档量级的聚合查询场景，先优化查询性能解决本地工具卡顿问题，再通过以下方法导出结果到新集合、CSV或JSON：

一、先优化聚合查询性能 #

本地工具执行卡顿的核心原因是缺少合适索引，先创建以下索引大幅提升查询速度：

• 为assignment集合创建复合索引：

db.assignment.createIndex({ scoringMethod: 1, assignmentStatus: 1 })

• 为submission集合创建复合索引：

db.submission.createIndex({ "_id.assignmentId": 1, status: 1 })

二、导出到新集合 #

1. 聚合管道直接写入（最高效） #

在原聚合管道末尾添加$out阶段，直接将结果写入新集合：

[
  {
    $match: {
      scoringMethod: "INSTRUCTOR",
      assignmentStatus: "PUBLISHED"
    }
  },
  {
    $lookup: {
      from: "submission",
      let: { assignmentId: "$_id" },
      pipeline: [
        {
          $match: {
            $expr: {
              $and: [
                { $eq: ["$_id.assignmentId", "$$assignmentId"] },
                { $or: [{ $eq: ["$status", "SUBMITTED"] }, { $eq: ["$status", "SCORED"] }, { $eq: ["$status", "SCORED_PUBLISHED"] }] }
              ]
            }
          }
        }
      ],
      as: "submissions"
    }
  },
  {
    $project: {
      _id: 0,
      assignmentId: "$_id",
      submissionCount: { $size: "$submissions" }
    }
  },
  {
    $match: { submissionCount: { $gt: 0 } }
  },
  { $out: "assignment_submission_counts" } // 新集合名称
]

执行后，结果会直接写入指定集合，支持MongoDB本地实例和Atlas。

2. MongoShell批量写入 #

如果不想修改原管道，可在Shell中执行聚合并批量写入：

let batch = [];
const batchSize = 1000;
db.assignment.aggregate([
  // 原聚合管道内容
]).forEach(doc => {
  batch.push(doc);
  if (batch.length === batchSize) {
    db.assignment_submission_counts.insertMany(batch);
    batch = [];
  }
});
if (batch.length > 0) {
  db.assignment_submission_counts.insertMany(batch);
}

三、导出到CSV/JSON #

1. 使用mongoexport工具（推荐大数据量） #

方式1：先写入临时集合再导出

先通过$out将结果写入临时集合，再执行导出命令：

• 导出CSV：

mongoexport --uri "mongodb://localhost:27017/你的数据库名" --collection "assignment_submission_counts" --type csv --fields "assignmentId,submissionCount" --out "submission_counts.csv"

• 导出JSON：

mongoexport --uri "mongodb://localhost:27017/你的数据库名" --collection "assignment_submission_counts" --out "submission_counts.json"

方式2：直接通过聚合管道导出（MongoDB 4.4+支持）

将聚合查询保存为JSON文件（比如aggregate_query.json），执行：

mongoexport --uri "mongodb://localhost:27017/你的数据库名" --aggregate "$(cat aggregate_query.json)" --type csv --fields "assignmentId,submissionCount" --out "submission_counts.csv"

2. 使用Studio3T导出 #

优化索引后执行聚合查询，待结果加载完成后，点击结果面板的「Export」按钮，选择CSV/JSON格式，配置导出字段即可。若仍超时，可在「Edit」→「Preferences」→「MongoDB」→「Query Timeout」中调大超时值或设为0（无超时）。

3. 使用MongoDB Compass导出 #

执行聚合查询完成后，点击结果上方的「Export」按钮，选择目标格式。若超时，进入「Settings」→「Connections」→「Advanced」，调大「Socket Timeout」和「Connect Timeout」数值。

内容的提问来源于stack exchange，提问作者Kaveen M.