You need to enable JavaScript to run this app. Sqlite亿级数据批量插入如何正确实现每批次独立新事务?
优惠活动
大模型
产品
解决方案
定价
更多

Sqlite亿级数据批量插入如何正确实现每批次独立新事务?

Sqlite大规模数据插入的分批事务正确实现

之前报错的根本原因

你遇到的「事务不属于当前连接」异常,没有任何玄学问题,就是代码逻辑写漏了步骤:

  • 手动调用transaction.Commit()之后,这个旧的事务对象会立刻和当前数据库连接解绑,变成完全失效的空对象
  • 你全程复用的SqliteCommand一直挂着这个已经失效的旧事务引用,下一次循环跑ExecuteNonQuery的时候,框架做关联校验,自然就会抛异常
  • 你之前尝试每100万条开新事务失败,也是因为切换事务的时候,没给Command更新绑定新的事务引用,始终拿着已经提交失效的旧事务跑操作

正确实现的核心要点

  • 不需要反复开关数据库连接,同一个连接上可以反复开启、提交多个事务,几乎没有额外性能开销
  • 批次大小选10万-100万条/批次最合适:Sqlite的写入性能瓶颈在事务的数量,不是单个事务里的插入条数,这个粒度既可以把事务带来的额外开销压到最低,也能避免单个事务太大,导致提交时一次性刷盘的IO量过高
  • 每完成一个批次的插入,先提交当前事务,立刻在同一个连接上开启新的事务,并且给当前复用的Command绑定这个新事务实例,绝对不要复用已经提交过的旧事务对象
  • 结合你之前的踩坑记录:单事务模式下,所有插入操作都会在提交时才一次性落盘,1.4亿条数据最终会生成约50GB的数据库文件,如果磁盘剩余空间不足,就会在提交阶段把磁盘写满、IO打满,最终导致整机冻结;用分批事务的模式,每次提交只需要落盘对应批次的写入量,从机制上就能避免这类问题

可直接落地的代码示例

public static void SqliteBulkInsertWithBatchedTransaction()
{
    CustomIterator citer = new CustomIterator();
    string connectionString = "Filename=Iterations.db;Cache=Shared";
    // 单批次处理10万条,可根据磁盘实际IO能力调整为50万/100万
    const long BatchSize = 100_000;

    using (var connection = new SqliteConnection(connectionString))
    {
        connection.Open();
        // 提前开启WAL模式、调整同步等级,提升写入速度,这部分不需要放在事务里
        using (var pragmaCmd = connection.CreateCommand())
        {
            pragmaCmd.CommandText = "PRAGMA journal_mode = WAL; PRAGMA synchronous = NORMAL;";
            pragmaCmd.ExecuteNonQuery();
        }

        long totalCount = 0;
        // 预创建可复用的插入命令,只需要更新绑定的事务,不用每次重建Command
        var insertCommand = connection.CreateCommand();
        insertCommand.CommandText = @"INSERT INTO iterations (V1, V2) VALUES ($V1, $V2)";
        
        var v1Param = insertCommand.CreateParameter();
        v1Param.ParameterName = "$V1";
        insertCommand.Parameters.Add(v1Param);
        
        var v2Param = insertCommand.CreateParameter();
        v2Param.ParameterName = "$V2";
        insertCommand.Parameters.Add(v2Param);

        // 开启第一个批次的事务
        SqliteTransaction currentTransaction = connection.BeginTransaction();
        insertCommand.Transaction = currentTransaction;

        while (citer.Next(out byte v1, out byte v2))
        {
            v1Param.Value = v1;
            v2Param.Value = v2;
            insertCommand.ExecuteNonQuery();
            totalCount++;

            // 达到批次阈值,提交当前事务
            if (totalCount % BatchSize == 0)
            {
                currentTransaction.Commit();
                Console.WriteLine($"已完成 {totalCount} 条记录写入");
                // 立刻开启下一个批次的新事务,给Command重新绑定新事务
                currentTransaction = connection.BeginTransaction();
                insertCommand.Transaction = currentTransaction;
            }
        }

        // 循环结束后,提交最后一个不足整批次的剩余数据
        currentTransaction.Commit();
        Console.WriteLine($"全部写入完成,共{ totalCount }条记录");
    }
}

容易踩的坑

  • 提交事务之后如果不立刻给Command绑定新事务,直接继续跑插入逻辑,100%会触发事务关联的校验异常
  • 不要为了追求极端速度把批次设置得过大(比如几个亿条一个批次),否则会回到之前单事务一次性刷盘50GB的状态,遇到磁盘空间不足就会卡死
  • 不要开启自动提交模式逐行插入,1.4亿次逐行自动提交的操作,会让Sqlite的写入速度下降几个数量级

内容的提问来源于stack exchange,提问作者monty

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 06:24:06