Node.js中sqlite3库能否用.import导入文件并优化批量插入？

1. sqlite3的.import功能是否可通过该npm包使用？ #

不行，这正是你报错的核心原因。.import是SQLite命令行工具（sqlite3 CLI）独有的内置命令，不属于标准SQL语法范畴。而你用的node-sqlite3 npm包，本质是通过SQL接口与SQLite数据库交互，它只能识别并执行标准SQL语句，无法解析CLI的点命令（比如.import、.tables这类），所以直接把.import命令传给db.run()才会抛出syntax error near "."的错误。

如果想在Node.js代码里实现类似.import的导入功能，有两种可行方案：

• 方案一：调用sqlite3 CLI执行导入
  通过Node.js的child_process模块，在代码中调用系统的sqlite3 CLI工具执行.import命令，这样就能完全利用原生.import的能力。
• 方案二：自己实现文件读取+批量插入
  手动读取CSV/TXT文件内容，结合SQL事务做批量插入，虽然性能略逊于原生.import，但不需要依赖外部CLI环境。

2. .import是否比批量插入更快？ #

肯定是的，.import的速度通常远优于普通的批量插入操作，原因如下：

• .import是SQLite原生实现的批量导入逻辑，它直接从文件读取数据，跳过了SQL语句解析、参数绑定等额外开销，底层针对大文件导入做了大量优化（比如直接操作数据库文件页、减少事务提交次数等）。
• 你当前100万条数据耗时5秒，换成.import后，理论上能获得明显的速度提升（具体幅度取决于硬件环境和文件结构，但通常能达到30%以上的提速）。

实用代码示例 #

方案一：调用sqlite3 CLI执行.import

const { exec } = require('child_process');

// 注意：如果是内存数据库，CLI执行完成后数据会消失，建议用本地文件数据库路径
const dbPath = './your-database.db'; 
const importCommand = `sqlite3 ${dbPath} '.import "/Users/avito/PhpstormProjects/blog/typescript/src/app/services/workflow_temp.txt" workflow_1_temp FIELDS TERMINATED BY "," ENCLOSED BY "\'" LINES TERMINATED BY "\n" IGNORE 1 ROWS'`;

exec(importCommand, (error, stdout, stderr) => {
  if (error) {
    console.error(`导入失败: ${error.message}`);
    return;
  }
  if (stderr) {
    console.error(`CLI输出错误: ${stderr}`);
    return;
  }
  console.log('数据导入完成！');
});

方案二：优化版批量插入（事务+逐行读取）

如果你不想依赖CLI环境，可以用事务优化现有插入逻辑：

const sqlite3 = require('sqlite3').verbose();
const fs = require('fs');
const readline = require('readline');

const db = new sqlite3.Database(':memory:');

// 先确保目标表存在（根据你的实际字段结构调整）
db.run(`CREATE TABLE IF NOT EXISTS workflow_1_temp (
  -- 替换成你的表字段定义
  id INTEGER,
  name TEXT,
  ...
)`);

// 开启事务，这是提升批量插入速度的关键
db.run('BEGIN TRANSACTION', (err) => {
  if (err) throw new Error(`开启事务失败: ${err.message}`);

  const rl = readline.createInterface({
    input: fs.createReadStream('/Users/avito/PhpstormProjects/blog/typescript/src/app/services/workflow_temp.txt'),
    crlfDelay: Infinity // 正确识别换行符
  });

  let skipHeader = true;
  rl.on('line', (line) => {
    if (skipHeader) {
      skipHeader = false;
      return; // 跳过表头行
    }

    // 解析行数据：去掉字段前后的单引号，分割成数组
    const values = line.split(',').map(val => val.replace(/^'|'$/g, ''));
    
    // 参数化插入，避免SQL注入，同时提升性能
    db.run(
      `INSERT INTO workflow_1_temp VALUES (${values.map(() => '?').join(',')})`,
      values,
      (err) => {
        if (err) {
          console.error(`插入数据失败: ${err.message}`);
          rl.close();
          db.run('ROLLBACK'); // 出错回滚事务
        }
      }
    );
  });

  rl.on('close', () => {
    // 所有数据插入完成后提交事务
    db.run('COMMIT', (err) => {
      if (err) throw new Error(`提交事务失败: ${err.message}`);
      console.log('批量插入完成！');
      db.close();
    });
  });
});

内容的提问来源于stack exchange，提问作者Tomáš Kudlička