如何在ExpressJS中高效处理MongoDB中的百万级文档？

直接调用find().toArray()会将500万条文档一次性加载到Node.js的V8堆内存中，而MongoDB的原始文档转换为JavaScript对象后，内存占用会显著高于磁盘存储的2.5GB（JS对象的结构、引用等都会额外消耗内存）。即使设置了--max-old-space-size=8192，V8的堆内存管理机制也无法完全利用这8GB空间，最终导致堆溢出崩溃。

以下是几种可行的优化方式，按优先级排序：

1. 使用游标流式处理（推荐） #

MongoDB的find()方法返回的是游标对象，它不会一次性加载所有数据，而是按需从服务器获取文档。你可以通过forEach()或手动遍历游标来逐个/批量处理文档，每次仅在内存中保留少量数据：

逐个处理文档 #

const cursor = database.collection("annotations").find();
// 遍历游标，逐个处理文档
await cursor.forEach((doc) => {
  // 这里写你的文档处理逻辑，比如写入文件、数据转换等
  processSingleAnnotation(doc);
});

批量处理文档 #

如果需要批量操作（比如批量写入其他存储），可以用nextBatch()控制每次加载的文档数量：

const cursor = database.collection("annotations").find();
const batchSize = 2000; // 按需调整批量大小
let processedCount = 0;

while (await cursor.hasNext()) {
  const batchDocs = await cursor.nextBatch(batchSize);
  // 处理当前批量的文档
  batchDocs.forEach(doc => processBatchAnnotation(doc));
  
  processedCount += batchDocs.length;
  console.log(`已处理 ${processedCount} 条文档`);
}

2. 投影过滤不必要的字段 #

如果你的业务逻辑不需要文档中的所有字段，使用**投影（projection）**只加载需要的字段，能大幅减少单条文档的内存占用：

// 仅加载_id、content和score字段，排除其他字段
const cursor = database.collection("annotations").find(
  {}, 
  { projection: { _id: 1, content: 1, score: 1 } }
);

3. 基于有序字段分页（替代skip/limit） #

如果需要分步处理数据（比如分页展示），避免使用skip()（大数据集下skip()会扫描大量文档，性能极差），而是基于**唯一有序字段（如_id）**做条件查询分页：

let lastDocId = null;
const pageSize = 1000;

while (true) {
  // 构造查询条件：如果有上一页的最后ID，只查询ID更大的文档
  const query = lastDocId ? { _id: { $gt: lastDocId } } : {};
  const pageDocs = await database.collection("annotations")
    .find(query)
    .limit(pageSize)
    .toArray();

  if (pageDocs.length === 0) break; // 没有更多数据，退出循环

  // 处理当前页的文档
  pageDocs.forEach(doc => processPageAnnotation(doc));
  
  // 更新上一页的最后ID
  lastDocId = pageDocs[pageDocs.length - 1]._id;
}

4. 利用MongoDB聚合框架做前置处理 #

如果你的需求是统计、分组、过滤等数据加工操作，尽量让MongoDB服务器完成这些计算，只返回最终结果，避免把原始数据全部拉到应用层：

// 示例：统计所有annotations的score平均值
const aggregationResult = await database.collection("annotations").aggregate([
  { $match: { score: { $exists: true } } }, // 过滤有score字段的文档
  { $group: { _id: null, averageScore: { $avg: "$score" } } } // 计算平均分
]).toArray();

console.log("平均分：", aggregationResult[0].averageScore);

5. 优化内存回收 #

在处理完文档后，及时解除对文档对象的引用，帮助V8的垃圾回收机制回收内存：

await cursor.forEach((doc) => {
  processSingleAnnotation(doc);
  // 解除引用，便于垃圾回收
  doc = null;
});

如果是CPU密集型的处理逻辑，也可以使用Node.js的worker_threads将处理任务放到子线程，避免主线程堆内存持续占用。

内容的提问来源于stack exchange，提问作者Tanzim Ahmed