Node.js-Sequelize连接过多、CPU满负载问题优化方案求助

我太懂这种痛了——处理大数组时逐条做数据库查询，结果把CPU和内存都拉满，服务直接卡成PPT。结合你的代码和配置，给你几个针对性的优化方案，按优先级从高到低来：

1. 用批量查询替代单条查询（最核心优化） #

你现在每条记录都发起5-6次单独查询，数据库的IO开销和连接占用会爆炸。把多次单查改成一次批量查询，然后在内存里做数据匹配，能把查询次数从N*6降到6次左右，效果立竿见影。

举个具体的例子（假设你的查询是基于记录的关联ID）：

// 第一步：收集所有需要查询的关键标识
const recordIds = records.map(item => item.id);
const matchIds = records.map(item => item.matchId);

// 第二步：批量获取所有需要的数据
// 批量统计odd_records的数量（按关联ID分组）
const oddCountList = await odd_records.findAll({
  attributes: [
    'related_record_id', // 假设关联records的字段是这个
    [sequelize.fn('COUNT', sequelize.col('id')), 'total']
  ],
  where: { related_record_id: recordIds },
  group: ['related_record_id']
});

// 批量查询所有matches记录
const allMatches = await matches.findAll({
  where: { id: matchIds }
});

// 第三步：转成Map，方便内存中快速查找
const oddCountMap = new Map(oddCountList.map(item => [item.related_record_id, item.get('total')]));
const matchMap = new Map(allMatches.map(match => [match.id, match]));

// 第四步：循环只做内存操作，不再碰数据库
for (const theOdd of records) {
  // 直接从Map取数据，无需查询
  const oddCount = oddCountMap.get(theOdd.id) || 0;
  const targetMatch = matchMap.get(theOdd.matchId);
  
  // 你的后续计算逻辑...
}

2. 控制查询并发数（如果没法全批量） #

如果某些查询确实没法改成批量，那别用for await逐条执行——这会让事件循环阻塞，连接池被占满还没效率。用批量并发处理，限制同时发起的查询数量，比如一次处理10-20条：

// 简单实现一个批量并发处理函数
async function batchProcess(items, batchSize, handler) {
  const results = [];
  for (let i = 0; i < items.length; i += batchSize) {
    const batch = items.slice(i, i + batchSize);
    // 同时处理一个批次的所有记录
    const batchResults = await Promise.all(batch.map(handler));
    results.push(...batchResults);
  }
  return results;
}

// 封装单条记录的处理逻辑
async function processRecord(theOdd) {
  const count = await odd_records.count(/* 你的查询条件 */);
  const match = await matches.findOne(/* 你的查询条件 */);
  // ... 其他查询和计算
  return /* 处理结果 */;
}

// 调用，比如一次处理15条（根据服务器配置调整）
await batchProcess(records, 15, processRecord);

3. 调优数据库连接池配置 #

你的连接池max设成500，这完全不合理——MySQL默认最大连接数才151，这么大的配置只会导致连接竞争，反而拖慢查询。建议改成20-30之间，再调整闲置连接回收时间：

pool: {
  max: 25, // 合理值，根据服务器CPU/内存调整
  min: 0,
  idle: 5000, // 闲置5秒就回收连接
  acquire: 30000, // 30秒内拿不到连接就抛出错误
}

4. 给查询字段加索引 #

如果你的count和findOne查询用到了非主键字段，一定要给这些字段加索引！比如odd_records的关联字段、matches的查询条件字段，索引能让数据库查询速度提升几个数量级，直接降低CPU负载。

5. 大数组分块处理（内存优化） #

如果records数组特别大（比如超过1万条），别一次性把所有数据都加载到内存里。可以分块读取、处理，每处理完一块就释放对应的内存，避免内存占用过高。

按这个顺序调整，应该能快速解决你的内存和CPU问题。

内容的提问来源于stack exchange，提问作者user10328862