MongoDB聚合添加$out后超时，2.5万文档场景如何解决？

问题场景 #

我尝试使用MongoDB的$out操作创建新集合，聚合管道代码如下：

db.books.aggregate([
  {
    $lookup: {
      from: 'book_copies', 
      localField: 'ISBN10',
      foreignField: 'book_id',
      as: 'book_copies'
    }
  },
  {
    $project: {
      ISBN10: 1,
      ISBN13:1,
      Title: 1,
      Cover: 1,
      Publisher: 1,
      Pages: 1,
      Authors_arr: 1,
      "book_copies.branch_id": 1,
      "book_copies.no_of_copies": 1
    }
  }
]);

这段代码在MongoShell中直接运行无错误，但添加{ $out: 'newCollection' }后执行，返回“operation exceeded time limit”错误，目标集合包含25000条文档。

问题分析 #

25000条文档的量级不算大，超时并非单纯由数据量导致。核心原因是**$lookup阶段未使用索引**，MongoDB需要对books和book_copies集合执行全表扫描来完成关联匹配，再加上$out写入新集合的IO开销，整体操作耗时超出了MongoDB的默认时间限制。

解决办法 #

为关联字段创建索引，提升$lookup的匹配效率：

• 给books集合的ISBN10字段创建单键索引：

db.books.createIndex({ ISBN10: 1 })

• 给book_copies集合的book_id字段创建单键索引：

db.book_copies.createIndex({ book_id: 1 })

创建索引后，$lookup阶段的匹配速度会大幅提升，配合$out操作可在正常时间内完成，不会再触发超时。

内容的提问来源于stack exchange，提问作者gggggggggzaozi