SQLite批量插入启用事务后性能未提升的问题求助

针对你遇到的INSERT OR REPLACE性能瓶颈，以下是具体的优化手段，结合SQLite特性和你的F#代码场景逐一解决：

1. 调整SQLite连接核心配置 #

SQLite默认的安全导向配置会大幅限制写入速度，修改连接字符串中的两个关键参数：

• Synchronous=NORMAL：降低磁盘同步级别，减少写入时的IO等待（相比默认的FULL模式，仅在系统崩溃时可能丢失最后几次写入，多数业务场景可接受）
• Journal Mode=WAL：启用预写日志模式，支持高并发写入，且写入速度远优于默认的DELETE日志模式

修改连接字符串示例：

let connectionString = "Data Source=your_database.db;Synchronous=NORMAL;Journal Mode=WAL"
use connection = new SqliteConnection(connectionString)
connection.Open()

2. 实现真正的批量插入，减少命令执行次数 #

当前代码循环执行单条INSERT OR REPLACE，即使在事务中，依然会重复解析SQL命令、触发IO操作。改为一次性生成包含多条记录的SQL语句，仅执行一次命令：

优化后的insertOrReplace函数：

let insertOrReplace (table:string) (items:'T array) (args:(string * ('T -> obj)) array)=
    if items.Length = 0 then Ok 0 else
    let fieldNames = args |> Seq.map fst |> Seq.toArray
    // 生成每组记录的参数占位符，格式如: (@id0,@nick0,...), (@id1,@nick1,...)
    let valueGroups = 
        items
        |> Array.mapi (fun itemIdx _ ->
            fieldNames
            |> Array.mapi (fun fieldIdx _ -> $"@{fieldNames[fieldIdx]}_{itemIdx}")
            |> String.concat ", "
            |> sprintf "(%s)"
        )
        |> String.concat ", "

    let commandText =
        StringBuilder()
            .Append($"INSERT OR REPLACE INTO {table} ({String.concat ", " fieldNames}) VALUES ")
            .Append(valueGroups)
            .Append(";")
            .ToString()

    use transaction = connection.BeginTransaction()
    use command = new SqliteCommand(commandText, connection, transaction)

    // 一次性添加所有参数并赋值
    items |> Array.iteri (fun itemIdx item ->
        args |> Array.iteri (fun fieldIdx (_, selector) ->
            let paramName = $"@{fieldNames[fieldIdx]}_{itemIdx}"
            command.Parameters.AddWithValue(paramName, selector item) |> ignore
        )
    )
      
    try
        let affected = command.ExecuteNonQuery()
        transaction.Commit()
        Ok affected
    with
    | ex -> 
        transaction.Rollback()
        Error ex.Message

3. 减少值类型装箱开销（可选优化） #

原代码中selector返回obj会导致int、bool等值类型的装箱操作，若性能仍有瓶颈，可针对常用值类型添加重载减少装箱：

// 示例：针对Int32类型的参数添加专用方法，避免装箱
let inline addIntParam (command:SqliteCommand) name (value:int) =
    let param = command.CreateParameter()
    param.ParameterName <- name
    param.DbType <- DbType.Int32
    param.Value <- value
    command.Parameters.Add(param) |> ignore

4. 辅助优化建议 #

• 复用数据库连接：避免每次插入时重新创建连接，保持连接长期有效（当前代码用use管理连接的方式是正确的）
• 控制批次大小：若单次插入上万条记录，建议分批次（如每1000条一批），避免SQL语句过长导致解析开销
• 临时禁用非主键索引：如果表中有额外索引，插入前禁用、插入后重建（你的当前表仅含主键索引，无需此操作）

内容的提问来源于stack exchange，提问作者EagleBirdman