连续调用时Mongoose查询耗时指数级增长问题求助

核心问题分析 #

你的查询在大数据集下重复调用后耗时飙升，本质原因大概率是全量加载数据导致内存持续占用，加上索引未正确优化（未使用覆盖索引），最终引发内存溢出、GC频繁，拖垮应用。

具体解决方案 #

1. 强制分页，避免全量加载 #

每次查询都返回所有符合条件的文档，大数据集下内存会被持续占用，后续查询的内存开销越来越大。必须分页：

• 若只需最新数据，用limit限制返回条数：

const swaps = await this.PairSwapModel.find(
  { pairAddress: address.toLowerCase(), chainId },
  { hash: 1, amount0In: 1, amount0Out: 1, amount1In: 1, amount1Out: 1, amountUSD: 1, priceInToken0: 1, priceInToken1: 1, timestamp: 1, token0Address: 1, token1Address: 1 }
)
.sort({ timestamp: -1 })
.limit(100); // 按需调整条数

• 若需要分批拉取历史数据，用游标分页替代skip（skip在大数据集下性能极差）：

// 假设上次查询最后一条的timestamp为lastTimestamp
const swaps = await this.PairSwapModel.find(
  { 
    pairAddress: address.toLowerCase(), 
    chainId,
    timestamp: { $lt: lastTimestamp } // 只取比上次更早的数据
  },
  { hash: 1, amount0In: 1, amount0Out: 1, amount1In: 1, amount1Out: 1, amountUSD: 1, priceInToken0: 1, priceInToken1: 1, timestamp: 1, token0Address: 1, token1Address: 1 }
)
.sort({ timestamp: -1 })
.limit(100);

2. 创建覆盖索引，消除回表开销 #

你之前的索引没生效，大概率是因为没有创建覆盖索引——MongoDB需要从索引直接获取所有查询字段，无需回表读取原文档。执行以下命令创建索引：

// 在MongoDB shell中执行
db.pairSwaps.createIndex(
  { pairAddress: 1, chainId: 1, timestamp: -1 }, // 查询+排序的字段
  { 
    include: [
      "hash", "amount0In", "amount0Out", 
      "amount1In", "amount1Out", "amountUSD", 
      "priceInToken0", "priceInToken1", 
      "token0Address", "token1Address"
    ] // 投影需要的所有字段
  }
);

验证索引是否生效：在查询后添加.explain("executionStats")，查看executionStats.totalDocsExamined是否等于executionStats.nReturned，且executionStats.executionStages.inputStage.stage为IXSCAN（说明用了索引扫描，而非全表扫描）。

3. 排查内存泄漏问题 #

重复轮询后若内存持续上涨，需检查：

• 是否有全局变量缓存了所有查询结果，未及时释放；
• NestJS的请求生命周期是否正常，是否存在未清理的资源；
• 用--inspect启动应用，通过Chrome DevTools的Memory面板分析内存快照，定位泄漏点。

4. 优化Mongoose连接配置 #

确保连接池配置合理，避免连接耗尽：

// 在Mongoose模块配置中添加
MongooseModule.forRoot('mongodb://localhost:27017/your-db', {
  poolSize: 10, // 按需调整，默认是5
  maxPoolSize: 20,
  minPoolSize: 5,
});

内容的提问来源于stack exchange，提问作者Faisal Anwar