优化MongoDB Atlas中GET请求的查询耗时问题

你的代码核心问题在于循环逻辑错误：每次循环都会覆盖results变量，相当于重复查询越来越大的时间范围（从更早的起始时间到原结束时间），既重复获取已有数据，又随着循环次数增加导致单次查询的数据量膨胀，这是性能瓶颈的主要原因。同时这种逻辑也无法实现“逐年补充数据”的初衷，反而每次都替换成全量数据。

优化方案一：修正循环逻辑，增量查询非重叠时间段 #

将“扩大范围全量查询”改为“查询更早的非重叠时间段，追加数据”，避免重复查询，减少单次查询负载：

exports.getTestCases = async (bucketName, startTimeStamp, endTimeStamp) => {
  let results = [];
  let currentEnd = parseInt(endTimeStamp);
  const maxDataLimit = 1500;
  const maxYearsBack = 10;
  const oneYearInMilliseconds = 31536000000;

  const projection = { field1: 1, field2: 1 }; // 必须明确指定需要的字段，禁止模糊写法
  const DynamicModel = getModelForCollection(bucketName);
  // 计算最多需要检查的年份数，避免超出用户指定的起始时间
  const totalYearsToCheck = Math.min(maxYearsBack, Math.floor((currentEnd - parseInt(startTimeStamp)) / oneYearInMilliseconds) + 1);

  for (let i = 0; i < totalYearsToCheck; i++) {
    const currentStart = currentEnd - oneYearInMilliseconds;
    const queryStart = Math.max(currentStart, parseInt(startTimeStamp));
    
    console.log(`Fetching data: Start Time: ${new Date(queryStart)}, End Time: ${new Date(currentEnd)}`);
    try {
      // 只查询还缺的条数，减少不必要的数据传输
      const batch = await DynamicModel.find(
        { executiondate: { $gte: queryStart, $lte: currentEnd } },
        projection
      )
        .sort({ executiondate: -1 })
        .limit(maxDataLimit - results.length)
        .lean()
        .exec();

      results.push(...batch);
      console.log(`Fetched ${batch.length} records, total: ${results.length}`);

      if (results.length >= maxDataLimit) break;
    } catch (error) {
      console.error("Failed to fetch data:", error);
      throw error;
    }

    currentEnd = currentStart;
  }

  return results;
};

关键改进： #

• 每次查询非重叠的过去一年时间段，彻底避免重复查询已有数据
• 动态设置limit为还需要的条数，减少数据传输量
• 确保查询范围不超出用户指定的起始时间边界

优化方案二：一次查询直接获取目标数据（最优解） #

你的需求本质是“获取最多1500条最新数据，时间范围不超过10年”，完全可以利用MongoDB的索引直接一次完成查询，彻底消除循环开销：

exports.getTestCases = async (bucketName, startTimeStamp, endTimeStamp) => {
  const endTime = parseInt(endTimeStamp);
  const maxDataLimit = 1500;
  const maxYearsBack = 10;
  const oneYearInMilliseconds = 31536000000;

  // 计算最远查询起始时间：取用户指定的startTime和10年前的时间中较晚的那个
  const queryStart = Math.max(parseInt(startTimeStamp), endTime - maxYearsBack * oneYearInMilliseconds);
  
  const projection = { field1: 1, field2: 1 }; // 明确指定需要的字段
  const DynamicModel = getModelForCollection(bucketName);

  try {
    const results = await DynamicModel.find(
      { executiondate: { $gte: queryStart, $lte: endTime } },
      projection
    )
      .sort({ executiondate: -1 }) // 依赖executiondate的降序索引
      .limit(maxDataLimit)
      .lean()
      .exec();

    console.log(`Total records fetched: ${results.length}`);
    return results;
  } catch (error) {
    console.error("Failed to fetch data:", error);
    throw error;
  }
};

为什么这是最优解？ #

• 利用executiondate的降序索引，MongoDB可以直接遍历索引取出最新的1500条数据，无需全表扫描或多次查询
• 消除了循环带来的多次网络请求和数据库查询开销
• 代码逻辑极简，维护成本极低

额外优化建议 #

1. 明确投影字段：必须具体列出需要的字段（比如{id:1, executiondate:1, testName:1}），禁止模糊写法。这样MongoDB可以使用覆盖索引（如果索引包含这些字段），无需回表查询文档，性能大幅提升。
2. 检查索引类型：确保executiondate的索引是单字段降序索引（执行db.collection.createIndex({executiondate: -1})创建），让排序操作直接利用索引，避免内存排序。
3. 减少类型转换：如果传入的startTimeStamp和endTimeStamp已经是数字类型，直接省略parseInt转换，减少不必要的计算。

内容的提问来源于stack exchange，提问作者Shuvo Barua