SQLite循环删除速度极慢问题排查与优化方案咨询

兄弟，你这代码的问题可太典型了——核心就是单条删除+默认自动事务，再加一次性加载全量数据，这俩坑踩得死死的，不慢才怪！

你的代码存在的核心问题 #

• 每条Delete都是独立事务：SQLite默认会给每个DML语句（比如delete）自动创建一个事务，执行完立刻提交。10万条记录就是10万次磁盘IO刷盘操作，这可是机械硬盘的噩梦——哪怕SSD，频繁小事务的开销也大到离谱，单条20秒都不意外。
• 一次性加载全量数据到内存：db.all直接把10万条记录全读到内存里，不仅占用大量内存，还可能导致JS的垃圾回收频繁触发，拖慢整体处理速度。
• 单条删除的低效模式：循环里每次调用db.run发起独立请求，来回的回调开销也会累积。

优化方案，让删除速度起飞 #

1. 用显式事务包裹所有删除操作

把所有删除逻辑放到一个显式事务里，这样不管删多少条，只需要一次提交，磁盘IO直接从10万次降到1次，速度提升几个数量级。

如果你的处理逻辑必须逐条读取数据，那可以先批量查询，收集所有要删除的ID，然后在一个事务里批量删除：

// 先查询所有要处理的ID和数据
db.all("select id, username from users", (err, rows) => {
  if (err) throw err;

  // 先处理所有数据（这里假设处理逻辑不需要依赖删除操作）
  rows.forEach(row => {
    // 你的处理逻辑，比如处理username
    console.log(`Processing user: ${row.username}`);
  });

  // 收集所有ID，准备批量删除
  const ids = rows.map(row => row.id);

  // 开启显式事务
  db.run("BEGIN TRANSACTION", err => {
    if (err) throw err;

    // 用参数化查询批量删除（注意SQLite的IN子句参数数量限制，一般建议不超过1000条，超了就分批）
    const placeholders = ids.map(() => '?').join(',');
    db.run(`DELETE FROM users WHERE id IN (${placeholders})`, ids, err => {
      if (err) {
        db.run("ROLLBACK", () => { throw err; });
      } else {
        db.run("COMMIT", err => {
          if (err) throw err;
          console.log("All records deleted successfully!");
        });
      }
    });
  });
});

2. 分批处理，避免内存爆炸

如果10万条数据内存扛不住，那就分批查询、分批处理、分批删除，每批比如1000条：

const batchSize = 1000;
let offset = 0;

function processBatch() {
  db.all(`SELECT id, username FROM users LIMIT ? OFFSET ?`, [batchSize, offset], (err, rows) => {
    if (err) throw err;
    if (rows.length === 0) {
      console.log("All batches processed!");
      return;
    }

    // 处理当前批次的数据
    rows.forEach(row => {
      console.log(`Processing user: ${row.username}`);
    });

    // 收集当前批次的ID
    const ids = rows.map(row => row.id);

    // 事务里删除当前批次
    db.run("BEGIN TRANSACTION", err => {
      if (err) throw err;
      const placeholders = ids.map(() => '?').join(',');
      db.run(`DELETE FROM users WHERE id IN (${placeholders})`, ids, err => {
        if (err) {
          db.run("ROLLBACK", () => { throw err; });
        } else {
          db.run("COMMIT", err => {
            if (err) throw err;
            offset += batchSize;
            processBatch(); // 递归处理下一批
          });
        }
      });
    });
  });
}

// 启动分批处理
processBatch();

3. 开启SQLite的WAL模式提升写入性能

SQLite默认的DELETE操作会锁整个数据库，开启WAL（Write-Ahead Log）模式可以让读写并发，并且大幅提升写入速度。在连接数据库时执行这个语句：

db.run("PRAGMA journal_mode=WAL");

4. 更极致的异步并行处理（谨慎使用）

如果你的处理逻辑是纯内存操作，不依赖数据库，可以用Promise封装数据库操作，并行处理批次逻辑，删除还是保持批量事务：

// 用Promise封装数据库操作，方便异步处理
function query(sql, params) {
  return new Promise((resolve, reject) => {
    db.all(sql, params, (err, rows) => err ? reject(err) : resolve(rows));
  });
}

function run(sql, params) {
  return new Promise((resolve, reject) => {
    db.run(sql, params, (err) => err ? reject(err) : resolve());
  });
}

async function processBatches() {
  const batchSize = 1000;
  let offset = 0;
  await run("PRAGMA journal_mode=WAL"); // 开启WAL

  while (true) {
    const rows = await query(`SELECT id, username FROM users LIMIT ? OFFSET ?`, [batchSize, offset]);
    if (rows.length === 0) break;

    // 并行处理当前批次的所有记录（如果处理逻辑允许）
    await Promise.all(rows.map(row => {
      // 你的处理逻辑，比如异步处理username
      return new Promise(resolve => {
        console.log(`Processing user: ${row.username}`);
        resolve();
      });
    }));

    // 事务里删除当前批次
    const ids = rows.map(row => row.id);
    const placeholders = ids.map(() => '?').join(',');
    await run("BEGIN TRANSACTION");
    try {
      await run(`DELETE FROM users WHERE id IN (${placeholders})`, ids);
      await run("COMMIT");
    } catch (err) {
      await run("ROLLBACK");
      throw err;
    }

    offset += batchSize;
    console.log(`Processed and deleted ${offset} records`);
  }
  console.log("All records processed!");
}

processBatches().catch(err => console.error(err));

关键总结 #

• 事务是核心：把批量操作放一个事务里，减少磁盘IO是提升速度的关键。
• 分批处理：避免内存过载，同时也能让数据库压力更小。
• 开启WAL：这是SQLite提升写入性能的标配操作。
• 批量删除：用IN子句代替单条DELETE，减少数据库请求次数。

内容的提问来源于stack exchange，提问作者Romeo Mihalcea