Sqlite亿级数据批量插入如何正确实现每批次独立新事务?
Sqlite大规模数据插入的分批事务正确实现
之前报错的根本原因
你遇到的「事务不属于当前连接」异常,没有任何玄学问题,就是代码逻辑写漏了步骤:
- 手动调用
transaction.Commit()之后,这个旧的事务对象会立刻和当前数据库连接解绑,变成完全失效的空对象 - 你全程复用的
SqliteCommand一直挂着这个已经失效的旧事务引用,下一次循环跑ExecuteNonQuery的时候,框架做关联校验,自然就会抛异常 - 你之前尝试每100万条开新事务失败,也是因为切换事务的时候,没给Command更新绑定新的事务引用,始终拿着已经提交失效的旧事务跑操作
正确实现的核心要点
- 不需要反复开关数据库连接,同一个连接上可以反复开启、提交多个事务,几乎没有额外性能开销
- 批次大小选10万-100万条/批次最合适:Sqlite的写入性能瓶颈在事务的数量,不是单个事务里的插入条数,这个粒度既可以把事务带来的额外开销压到最低,也能避免单个事务太大,导致提交时一次性刷盘的IO量过高
- 每完成一个批次的插入,先提交当前事务,立刻在同一个连接上开启新的事务,并且给当前复用的Command绑定这个新事务实例,绝对不要复用已经提交过的旧事务对象
- 结合你之前的踩坑记录:单事务模式下,所有插入操作都会在提交时才一次性落盘,1.4亿条数据最终会生成约50GB的数据库文件,如果磁盘剩余空间不足,就会在提交阶段把磁盘写满、IO打满,最终导致整机冻结;用分批事务的模式,每次提交只需要落盘对应批次的写入量,从机制上就能避免这类问题
可直接落地的代码示例
public static void SqliteBulkInsertWithBatchedTransaction() { CustomIterator citer = new CustomIterator(); string connectionString = "Filename=Iterations.db;Cache=Shared"; // 单批次处理10万条,可根据磁盘实际IO能力调整为50万/100万 const long BatchSize = 100_000; using (var connection = new SqliteConnection(connectionString)) { connection.Open(); // 提前开启WAL模式、调整同步等级,提升写入速度,这部分不需要放在事务里 using (var pragmaCmd = connection.CreateCommand()) { pragmaCmd.CommandText = "PRAGMA journal_mode = WAL; PRAGMA synchronous = NORMAL;"; pragmaCmd.ExecuteNonQuery(); } long totalCount = 0; // 预创建可复用的插入命令,只需要更新绑定的事务,不用每次重建Command var insertCommand = connection.CreateCommand(); insertCommand.CommandText = @"INSERT INTO iterations (V1, V2) VALUES ($V1, $V2)"; var v1Param = insertCommand.CreateParameter(); v1Param.ParameterName = "$V1"; insertCommand.Parameters.Add(v1Param); var v2Param = insertCommand.CreateParameter(); v2Param.ParameterName = "$V2"; insertCommand.Parameters.Add(v2Param); // 开启第一个批次的事务 SqliteTransaction currentTransaction = connection.BeginTransaction(); insertCommand.Transaction = currentTransaction; while (citer.Next(out byte v1, out byte v2)) { v1Param.Value = v1; v2Param.Value = v2; insertCommand.ExecuteNonQuery(); totalCount++; // 达到批次阈值,提交当前事务 if (totalCount % BatchSize == 0) { currentTransaction.Commit(); Console.WriteLine($"已完成 {totalCount} 条记录写入"); // 立刻开启下一个批次的新事务,给Command重新绑定新事务 currentTransaction = connection.BeginTransaction(); insertCommand.Transaction = currentTransaction; } } // 循环结束后,提交最后一个不足整批次的剩余数据 currentTransaction.Commit(); Console.WriteLine($"全部写入完成,共{ totalCount }条记录"); } }
容易踩的坑
- 提交事务之后如果不立刻给Command绑定新事务,直接继续跑插入逻辑,100%会触发事务关联的校验异常
- 不要为了追求极端速度把批次设置得过大(比如几个亿条一个批次),否则会回到之前单事务一次性刷盘50GB的状态,遇到磁盘空间不足就会卡死
- 不要开启自动提交模式逐行插入,1.4亿次逐行自动提交的操作,会让Sqlite的写入速度下降几个数量级
内容的提问来源于stack exchange,提问作者monty
相关产品推荐
相关产品推荐

