如何提升MongoDB BSON大小限制以查询10万条聚合记录

一、TS2559报错修复 #

你遇到的类型报错是因为新版MongoDB Node.js驱动中，db.collection()的第二个参数为集合配置项，不支持回调函数的传参写法，旧回调API已废弃，所以和CollectionCreateOptions类型不匹配，建议改为async/await的现代写法调用。

二、16MB BSON限制突破方案 #

你代码里的核心问题是使用了$facet聚合阶段：$facet会将所有聚合结果打包输出为单个文档，10万条关联后的数据必然会超过单文档16MB的上限，所以才会触发大小限制报错。
正确的优化点如下：

• 移除$facet阶段，直接通过聚合游标分批返回数据，游标默认每批返回的总大小不会超过16MB，从根源规避单文档大小限制
• 保留allowDiskUse: true配置，允许聚合过程中超出内存限制的数据暂存到磁盘，避免聚合阶段内存溢出
• 合理调整cursor.batchSize数值，单条文档体积大就调小批次数量，单条体积小可以适当调大减少IO次数
• 尽量不要把全量10万条数据都堆到本地内存数组中，如果支持流式处理可以在数据接收事件中直接逐条处理数据，降低本地内存压力

三、修复后的完整代码示例 #

import { MongoClient } from 'mongodb'

// 初始化Mongo连接（可替换为你自己的连接逻辑）
const client = new MongoClient('你的MongoDB连接串')
await client.connect()
const db = client.db('你的数据库名')

async function getUnpaidAuctions() {
  const result = []
  // 正确获取集合实例，无需回调
  const auctionsCollection = db.collection('auctions')
  
  // 聚合查询，移除$facet阶段
  const cursor = auctionsCollection.aggregate(
    [
      {
        $match: {
          status: 'UNPAID'
        }
      },
      {
        $lookup: {
          from: 'bids',
          let: { id: '$_id' },
          pipeline: [
            {
              $match: {
                $expr: { $eq: ['$auctioncode', '$$id'] },
              },
            },
          ],
          as: 'bids',
        },
      },
      { $skip: 0 },
      { $limit: 100000 }
    ],
    {
      allowDiskUse: true,
      cursor: { batchSize: 20 }
    }
  )

  // 游标迭代获取数据
  for await (const doc of cursor) {
    result.push(doc)
    // 若为流式处理场景，可在此直接写处理逻辑，无需全部存入result数组
  }

  return result
}

// 调用方法获取结果
const auctions = await getUnpaidAuctions()

内容的提问来源于stack exchange，提问作者Aravinth E