Node.js后端PostgreSQL并行异步查询变慢的优化方案求解

以下是针对你遇到的并行查询耗时随数量上升问题的具体解决方案：

1. 验证连接池的实际连接分配 #

虽然你设置了连接池最大连接数为100，但需要确认查询是否真的在并行使用不同连接。可以修改query函数，手动获取并打印连接ID，同时查看数据库实时连接数：

const query = async (text: string, params = []) => {
  const start = performance.now();
  // 手动获取连接，便于查看连接使用情况
  const client = await pool.connect();
  try {
    console.log(`当前使用连接ID: ${client.processID}`);
    const res = await client.query(text, params);
    return res;
  } finally {
    // 释放连接回池
    client.release();
  }
  const end = performance.now();
  console.log(`Query ${text} took ${end - start} milliseconds.`)
}

同时在PostgreSQL中执行以下语句，查看实时连接数：

SELECT count(*) FROM pg_stat_activity WHERE datname = '你的数据库名';

如果实时连接数远低于你设置的max值，说明连接池没有充分利用，可能是连接复用或分配的问题。

2. 优化单条查询的性能 #

并行查询的总耗时也依赖单条查询的效率，检查你的<MY SQL QUERY>：

• 用EXPLAIN ANALYZE执行查询，查看是否存在全表扫描、嵌套循环等低效执行计划，针对性添加索引。
• 如果多个查询逻辑相同，尝试合并为批量查询（比如用IN子句、UNION ALL），减少连接请求次数。
• 避免在查询中使用耗时的自定义函数、不必要的子查询嵌套。

3. 调整连接池配置参数 #

微调连接池的参数，优化连接复用和分配：

const pool = new Pool({
  // ... 原有配置
  min: 10,
  max: 100,
  idleTimeoutMillis: 30000, // 延长闲置连接保留时间，减少重新创建连接的开销
  connectionTimeoutMillis: 5000, // 设置连接等待超时，避免无限排队
});

4. 控制并发请求批次 #

即使连接池有足够连接，瞬间发起大量查询可能导致数据库CPU、IO资源耗尽，进而拖慢所有查询。可以将查询分批次并行执行：

const batchSize = 20; // 根据数据库性能调整批次大小
const requestsCount = 100;
// 生成查询列表
const queryList = Array(requestsCount).fill("<MY SQL QUERY>");

// 处理单批次查询
const processBatch = async (batch: string[]) => {
  return Promise.all(batch.map(q => query(q)));
};

const start = performance.now();
const finalResults = [];
// 分批执行
for (let i = 0; i < queryList.length; i += batchSize) {
  const currentBatch = queryList.slice(i, i + batchSize);
  const batchResults = await processBatch(currentBatch);
  finalResults.push(...batchResults);
}
const end = performance.now();
console.log('总耗时 : ', end - start);

5. 排查Node.js事件循环阻塞 #

如果查询返回大量数据，Node.js解析处理数据时可能阻塞事件循环，导致后续查询排队。可以通过拆分数据处理逻辑避免阻塞：

// 修改查询执行后的处理逻辑
const ps = Array(requestsCount).fill(async () => {
  const queryStr = "<MY SQL QUERY>";
  const res = (await query(queryStr)).rows;
  // 用setImmediate将数据处理放到下一轮事件循环
  return new Promise(resolve => setImmediate(() => resolve(res)));
});

如果数据处理逻辑复杂，也可以使用worker_threads将处理任务放到单独线程，不影响主线程的并行查询调度。

内容的提问来源于stack exchange，提问作者plotop