MongoDB Atlas触发器find查询仅返回5万条记录问题排查

问题原因 #

Atlas触发器运行在托管的App Services（原Realm/Stitch）运行时环境中，为避免单次查询占用过量内存、触发函数执行超时，对find().toArray()的批量拉取操作默认设置了50000条的单查询返回上限，超过阈值的结果会被自动截断，因此执行count()能统计到全量63101条数据，但实际拉取到的文档只有50000条。
代码执行最终返回undefined是因为触发器函数没有显式设置返回值，和条数限制无关。

解决方法 #

• 优先使用游标分页拉取全量数据：不要单次调用toArray()加载全表数据，通过_id作为分页标记分批次拉取，单批次大小控制在50000条以内，循环获取所有数据，参考实现代码如下：

const allDocs = [];
const batchSize = 10000;
let lastId = null;

while (true) {
  const filter = lastId ? { _id: { $lt: lastId } } : {};
  const batch = await collection1
    .find(filter)
    .sort({ _id: -1 })
    .limit(batchSize)
    .toArray();

  if (batch.length === 0) break;
  allDocs.push(...batch);
  lastId = batch.at(-1)._id;
}

console.log('总文档数：', await collection1.countDocuments({}));
console.log('实际拉取文档数：', allDocs.length); // 此处可得到全量63101条结果

• 批量数据处理不要全量加载到内存：如果拉取数据是为了做批量更新、统计等操作，直接用游标逐批处理，每处理完一批再获取下一批，大幅降低内存占用，避免触发运行时限制。
• 不推荐随意调大返回上限：虽然可以在Atlas App Services后台调整触发器运行时的单查询返回阈值，但当集合数据量增长到十万、百万级时，单次拉全量的逻辑必然会触发执行超时、内存溢出问题，存在极大故障隐患。

内容的提问来源于stack exchange，提问作者Ghazanfar Khan