Node.js向MySQL插入百万条数据报read ECONNRESET错误如何解决

• 超出MySQL服务端max_allowed_packet限制：该参数控制MySQL服务端允许接收的最大单请求数据包大小，默认通常为1~4MB。100万条数据拼接为单条INSERT语句后，数据包大小会远超过该阈值，服务端会直接主动断开TCP连接，抛出ECONNRESET错误。
• 连接超时断开：单条超大请求的发送、执行耗时远超过MySQL默认的wait_timeout、interactive_timeout阈值，服务端会判定连接空闲并主动回收，导致连接被重置。
• 请求超出驱动限制：Node.js的MySQL驱动也有默认的单请求大小限制，超大SQL语句会触发驱动层面的异常，进一步导致连接断开。

• 方案1：调整MySQL服务端配置（仅适合临时验证，不建议生产单独使用）
  临时生效可登录MySQL执行命令：

  SET GLOBAL max_allowed_packet = 67108864;
  

  上述命令将最大允许包大小调整为64MB，可根据实际数据量调整大小。如需永久生效，需修改MySQL配置文件my.cnf（或my.ini）中的max_allowed_packet参数，同时可适当调大wait_timeout、interactive_timeout参数的取值，避免连接超时断开。
• 方案2：数据分片批量插入（生产环境首选方案）
  将100万条的大数组拆分为多个小分片，每批仅插入1000~5000条数据，控制单请求数据包大小在1MB以内，避免触发大小限制。参考实现代码如下：

  // 数组分片工具函数
  function chunkArray(arr, chunkSize) {
    const result = [];
    for (let i = 0; i < arr.length; i += chunkSize) {
      result.push(arr.slice(i, i + chunkSize));
    }
    return result;
  }
  
  // 按每批2000条拆分数据，可根据单条数据大小调整分片尺寸
  const dataChunks = chunkArray(csvData, 2000);
  const insertQuery = "INSERT INTO transactions (customer_id, tr_date, tr_time, mcc_code, tr_type, amount, term_id) VALUES ?";
  
  // 串行插入所有分片，避免并行请求打满数据库连接
  async function batchInsert() {
    for (const chunk of dataChunks) {
      await new Promise((resolve, reject) => {
        connection.query(insertQuery, [chunk], (error, result) => {
          if (error) return reject(error);
          resolve(result);
        });
      });
    }
    console.log('全部数据插入完成');
  }
  
  batchInsert().catch(console.error);
  

• 方案3：加入事务保证数据一致性
  如果需要保证所有数据要么全部插入成功要么全部回滚，可以将分片插入逻辑包裹在MySQL事务中，参考实现如下：

  async function transactionalBatchInsert() {
    await new Promise((resolve, reject) => {
      connection.beginTransaction(async (transactionErr) => {
        if (transactionErr) return reject(transactionErr);
        try {
          const dataChunks = chunkArray(csvData, 2000);
          for (const chunk of dataChunks) {
            await new Promise((res, rej) => {
              connection.query(insertQuery, [chunk], (err) => {
                if (err) return rej(err);
                res();
              });
            });
          }
          connection.commit((commitErr) => {
            if (commitErr) return reject(commitErr);
            resolve();
          });
        } catch (err) {
          connection.rollback(() => reject(err));
        }
      });
    });
  }
  

• 方案4：使用LOAD DATA INFILE导入（百万级以上超大数据量最优方案）
  如果原始数据为本地CSV文件，可直接使用MySQL原生的LOAD DATA INFILE语法导入数据，性能比INSERT批量插入高10~100倍，不会触发连接重置问题。

内容的提问来源于stack exchange，提问作者grishabobr