Node.js导入PostgreSQL文件时遇Connection terminated错误求助

问题根源 #

• 连接重复关闭与复用：第一个client.query执行后调用了client.end()关闭了连接，但后续又复用同一个client对象调用client.connect()，导致连接状态异常，最终触发终止。
• 异步流程顺序混乱：exec('node ace migration:run')是异步操作，你直接在其后执行导入逻辑，此时迁移可能还未完成，数据库状态不稳定，叠加连接复用问题导致报错。
• 并行查询过载：用forEach批量触发client.query时，所有请求几乎同时发送，短时间内大量请求超出PostgreSQL连接的处理能力，引发连接强制终止。
• SQL分割不严谨：直接用split(';')拆分SQL文件，会错误分割包含分号的字符串（如INSERT INTO ... VALUES ('test;value')），触发语法错误进而导致连接异常。

解决方案 #

1. 改用连接池管理连接

避免复用已关闭的连接对象，用连接池更适合批量操作场景：

const { Pool } = require('pg');
const pool = new Pool({
  user: 'your_user',
  host: 'your_host',
  database: 'your_db',
  password: 'your_password',
  port: 5432,
  connectionTimeoutMillis: 60000, // 1分钟超时
  idleTimeoutMillis: 60000,
});

2. 保证异步流程顺序

用Promise封装exec，确保迁移完成后再执行SQL导入：

const util = require('util');
const exec = util.promisify(require('child_process').exec);

async function runMigration() {
  try {
    const { stdout, stderr } = await exec('node ace migration:run');
    console.log(`Migration stdout: ${stdout}`);
    if (stderr) console.log(`Migration stderr: ${stderr}`);
  } catch (error) {
    console.error(`Migration failed: ${error.message}`);
    throw error;
  }
}

3. 顺序执行SQL查询

用async/await逐个执行查询，避免并行过载，同时跳过空查询：

async function importSQLFile(sqlFilePath) {
  const client = await pool.connect();
  try {
    const sql = fs.readFileSync(sqlFilePath).toString();
    // 使用sql-split库正确分割SQL（需先安装：npm install sql-split）
    const queries = require('sql-split')(sql, { separator: ';' });

    for (const [index, query] of queries.entries()) {
      const trimmedQuery = query.trim();
      if (!trimmedQuery) continue;

      console.log(`Executing query ${index}`);
      await client.query(trimmedQuery);
      console.log(`Query ${index} completed`);
    }
  } catch (err) {
    console.error(`Query error: ${err.stack}`);
    throw err;
  } finally {
    client.release(); // 释放连接回池
  }
}

4. 完整流程整合

const fs = require('fs');
const { Pool } = require('pg');
const util = require('util');
const exec = util.promisify(require('child_process').exec);

const pool = new Pool({
  // 替换为你的数据库配置
  user: 'your_user',
  host: 'your_host',
  database: 'your_db',
  password: 'your_password',
  port: 5432,
  connectionTimeoutMillis: 60000,
  idleTimeoutMillis: 60000,
});

async function resetSchema() {
  const client = await pool.connect();
  try {
    await client.query('DROP SCHEMA public CASCADE; CREATE SCHEMA public;');
    console.log('Schema reset successfully');
  } catch (err) {
    console.error('Schema reset error:', err.stack);
    throw err;
  } finally {
    client.release();
  }
}

async function main() {
  const DBDir = './path/to/your/db'; // 替换为实际路径
  try {
    await resetSchema();
    await runMigration();
    await importSQLFile(`${DBDir}/TEST_DB.sql`);
    console.log('All operations completed successfully');
  } catch (err) {
    console.error('Process failed:', err.stack);
  } finally {
    await pool.end(); // 关闭连接池
  }
}

main();

额外建议 #

• 对于超大SQL文件，建议使用PostgreSQL的COPY命令或pg-query-stream流式处理，避免一次性加载整个文件到内存
• 查看PostgreSQL服务器日志，确认是否存在max_connections限制、资源不足等底层问题

内容的提问来源于stack exchange，提问作者Boychik