这个场景太常见了！我之前做日志导入的时候也遇到过类似的阻塞问题，核心解决思路就是把逐行同步插入改成异步流式批量处理，既不会阻塞Node.js的Event Loop，又能大幅提升插入效率。下面给你具体的实现方案和注意事项：

核心思路 #

避免一次性加载全量数据到内存，同时用异步流式读取+分批次批量插入的方式，让Node.js的Event Loop能处理其他任务，不会被长时间阻塞。

具体实现步骤 #

1. 用流式读取处理大文件 #

Node.js的readline模块配合fs.createReadStream可以逐行读取文件，不会一次性把整个文件加载到内存，这是处理大文件的基础，哪怕是100万行的文件也不会爆内存。

2. 分批次攒数据，达到阈值就异步插入 #

设置一个合理的批次大小（比如500-2000条，根据你的数据库性能调整），每攒够一批就发起异步批量插入请求，同时可以暂停读取直到当前插入完成，避免内存暴涨。

3. 用数据库连接池+异步API #

一定要用支持Promise/async-await的数据库驱动（比如mysql2/promise、mongoose），同时用连接池复用数据库连接，减少连接建立销毁的开销，避免频繁创建连接拖慢速度。

代码示例（MySQL为例） #

const readline = require('readline');
const fs = require('fs');
const mysql = require('mysql2/promise');

// 数据库连接配置
const dbPoolConfig = {
  host: 'localhost',
  user: 'your_username',
  password: 'your_password',
  database: 'your_db',
  connectionLimit: 5 // 控制并发连接数，避免打满数据库
};

// 批次大小，可根据实际情况调整
const BATCH_SIZE = 1000;

async function processLargeFile(filePath) {
  // 创建读取流和readline接口
  const rl = readline.createInterface({
    input: fs.createReadStream(filePath),
    crlfDelay: Infinity // 兼容不同换行符
  });

  // 初始化数据库连接池
  const dbPool = mysql.createPool(dbPoolConfig);
  let dataBatch = [];

  // 监听每行数据事件
  rl.on('line', async (line) => {
    // 这里替换成你的行处理逻辑（轻量处理，别在这里做阻塞操作）
    const processedRecord = parseAndProcessLine(line);
    
    dataBatch.push(processedRecord);

    // 达到批次大小，执行批量插入
    if (dataBatch.length >= BATCH_SIZE) {
      rl.pause(); // 暂停读取，防止内存暴涨
      try {
        await insertBatch(dbPool, dataBatch);
        console.log(`成功插入 ${BATCH_SIZE} 条记录`);
        dataBatch = []; // 清空批次
      } catch (err) {
        console.error(`批量插入失败: ${err.message}`);
        // 可选：将失败的批次写入日志，后续重试
        // fs.appendFileSync('./failed-batches.log', JSON.stringify(dataBatch) + '\n');
      } finally {
        rl.resume(); // 恢复读取
      }
    }
  });

  // 文件读取完成后，处理剩余的不足一个批次的数据
  rl.on('close', async () => {
    if (dataBatch.length > 0) {
      try {
        await insertBatch(dbPool, dataBatch);
        console.log(`成功插入最后 ${dataBatch.length} 条记录`);
      } catch (err) {
        console.error(`最后一批插入失败: ${err.message}`);
      }
    }
    await dbPool.end(); // 关闭连接池
    console.log('所有数据处理完成！');
  });
}

// 批量插入函数，根据你的表结构调整SQL
async function insertBatch(pool, batch) {
  // 生成占位符，比如(?, ?), (?, ?)...
  const placeholders = batch.map(() => '(?, ?)').join(', ');
  // 把批次数据展开成一维数组，适配mysql的参数格式
  const values = batch.flatMap(record => [record.field1, record.field2]);
  const sql = `INSERT INTO your_table (field1, field2) VALUES ${placeholders}`;
  
  await pool.execute(sql, values);
}

// 示例：行处理逻辑（根据你的实际需求修改）
function parseAndProcessLine(line) {
  // 假设是CSV格式，分割字段
  const [field1, field2] = line.split(',').map(item => item.trim());
  // 做一些轻量转换，比如类型转换
  return {
    field1: field1,
    field2: parseInt(field2, 10)
  };
}

// 启动处理
processLargeFile('./your-large-file.txt').catch(err => console.error('全局错误:', err));

关键注意事项 #

• 批次大小调优：如果批次太大，可能会导致数据库单次请求超时，或者内存占用过高；太小的话会增加数据库请求次数，需要根据你的数据库性能测试调整（一般500-2000条都比较合适）。
• 错误处理：批量插入失败时，一定要把失败的批次记录下来，避免数据丢失，后续可以手动重试。
• 避免阻塞操作：行处理逻辑一定要轻量，别在line事件里做同步阻塞的操作（比如同步读取文件、复杂计算），否则还是会阻塞Event Loop。
• 数据库支持：确保你的数据库支持批量插入（大部分主流数据库都支持，比如MySQL的多值INSERT、MongoDB的insertMany）。
• 并发控制：如果你的文件特别大，可以考虑用p-limit这类库控制同时进行的插入任务数，避免数据库连接被占满。

内容的提问来源于stack exchange，提问作者Lazarus Rising