Node.js应用执行顺序遇async/await问题，数据库插入前连接已关闭

嘿，我完全懂你碰到的这个坑——Node.js的异步特性确实容易让新手踩中顺序执行的问题，尤其是数据库操作这块，稍不注意就会出现连接先关了、插入还没做完的情况。咱们一步步来把这个问题搞定：

核心问题根源 #

你遇到的「Connection closed before finishing the inserts」本质上是没有用async/await正确等待所有异步操作完成，断开连接的代码在插入操作还在后台运行时就被执行了。Node.js的异步代码如果不通过await阻塞后续逻辑，会直接往下走，导致连接提前关闭。

解决方案：用async函数串联所有同步化的异步操作 #

我们可以把整个流程封装到一个顶层的async函数里，用await逐个等待每个步骤完成，同时用try/finally确保无论操作成功还是失败，数据库连接都会在最后正确关闭。

完整代码示例（以pg库连接PostgreSQL为例） #

const { Client } = require('pg');
const axios = require('axios'); // 用于爬取网站，也可以用node-fetch
const fs = require('fs');

// 1. 定义数据库配置
const dbConfig = {
  user: 'your_username',
  host: 'localhost',
  database: 'your_db',
  password: 'your_password',
  port: 5432,
};

async function runApp() {
  let client;
  try {
    // 步骤1：连接PostgreSQL数据库
    client = new Client(dbConfig);
    await client.connect();
    console.log('数据库连接成功');

    // 步骤2：创建表（已存在则跳过）
    const createTableQuery = `
      CREATE TABLE IF NOT EXISTS crawled_data (
        id SERIAL PRIMARY KEY,
        source_url VARCHAR(255) NOT NULL,
        title TEXT,
        content TEXT,
        crawled_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
      );
    `;
    await client.query(createTableQuery);
    console.log('表创建/检查完成');

    // 步骤3：爬取两个网站并插入数据
    async function crawlAndInsert(url) {
      // 爬取网站内容
      const response = await axios.get(url);
      // 这里根据实际网站结构解析数据，示例提取标题和内容片段
      const titleMatch = response.data.match(/<title>(.*?)<\/title>/);
      const title = titleMatch ? titleMatch[1] : '无标题';
      const content = response.data.substring(0, 500); // 取前500字符作为内容示例

      // 插入数据库
      const insertQuery = `
        INSERT INTO crawled_data (source_url, title, content)
        VALUES ($1, $2, $3);
      `;
      await client.query(insertQuery, [url, title, content]);
      console.log(`已插入来自${url}的数据`);
    }

    // 按顺序爬取两个网站（若想并行可改用Promise.all，记得加await确保全部完成）
    await crawlAndInsert('https://example.com');
    await crawlAndInsert('https://example.org');

    // 步骤4：用D3.js生成可视化图表
    // Node.js环境需用d3-node适配，浏览器环境可直接用原生D3
    const D3Node = require('d3-node');
    const d3n = new D3Node();
    const d3 = d3n.d3;

    // 从数据库获取数据
    const result = await client.query('SELECT * FROM crawled_data');
    const data = result.rows;

    // 生成简单条形图示例
    const svgWidth = 500;
    const svgHeight = 300;
    const svg = d3.create('svg')
      .attr('width', svgWidth)
      .attr('height', svgHeight);

    svg.selectAll('rect')
      .data(data)
      .enter()
      .append('rect')
      .attr('x', (d, i) => i * 100)
      .attr('y', 0)
      .attr('width', 80)
      .attr('height', d => d.content.length / 2)
      .attr('fill', 'steelblue');

    // 保存SVG到本地文件
    fs.writeFileSync('./crawled_data_visualization.svg', svg.node().outerHTML);
    console.log('可视化图表生成完成');

  } catch (error) {
    console.error('操作出错:', error);
  } finally {
    // 步骤5：断开数据库连接——这一步会在所有try内操作完成后执行
    if (client) {
      await client.end();
      console.log('数据库连接已断开');
    }
  }
}

// 启动整个应用流程
runApp();

关键要点解释 #

• await阻塞异步操作：从数据库连接、建表、爬取插入到可视化，每个异步步骤都用await包裹，确保前一步完全完成后再执行下一项。
• try/finally保障连接关闭：把核心业务逻辑放在try块，finally块专门处理连接断开，无论中间是否报错，连接都会被正确释放，避免资源泄漏。
• 并行操作的正确处理：如果想同时爬取两个网站提升效率，可以用await Promise.all([crawlAndInsert(url1), crawlAndInsert(url2)])，确保两个爬取+插入任务全部完成后再推进后续流程。
• D3.js环境适配：Node.js后端生成可视化需要用d3-node库，前端场景则直接使用原生D3即可，无需额外适配。

这样调整后，你的整个流程就会严格按照预期顺序执行，再也不会出现连接提前关闭的问题啦！

内容的提问来源于stack exchange，提问作者user6020355