Qt SQL数据插入速度优化及数值转字符串高效方法咨询

针对「是否存在性能更优的Qt SQL数据插入实现方案」的解答 #

你当前测试的两种逐行插入方案都没有触及Qt SQL插入的性能上限，核心问题在于重复SQL解析、逐行提交磁盘IO开销过高，按优先级做以下优化可以获得数量级的性能提升：

• 第一优先级：开启显式事务
  绝大多数数据库驱动默认开启自动提交模式，每执行一条INSERT语句就会将数据刷写到磁盘，100万行量级的插入场景下，随机磁盘IO会占总耗时的90%以上。你只需要在插入循环开始前调用myQtSql.database().transaction()，全部数据插入完成后统一调用myQtSql.database().commit()，异常分支执行rollback()即可，单这一项优化就能带来10~100倍的性能提升，远高于你对比bindValue和字符串拼接获得的收益。
• 第二优先级：预编译语句复用+批量绑定
  你当前的bindValue方案每次插入都重复调用prepare()，浪费了大量SQL解析、执行计划生成的开销。正确做法是在循环开始前只做一次prepare()，循环内复用同一个QSqlQuery对象；进一步可以用Qt提供的execBatch()批量接口，按1000~10000行的批次一次性绑定整批数据提交，省去逐行exec的函数调用、上下文切换开销。
• 不推荐使用字符串拼接SQL的方案：你当前的拼接实现存在两个明确bug——字符串内容包含单引号、逗号等特殊字符时会触发SQL语法错误；写入的"NULL"是内容为NULL的字符串，不是数据库标准NULL值。同时拼接方案天然存在SQL注入风险，且批量场景下性能远低于事务+批量绑定的方案。

参考实现代码：

QSqlQuery insertQuery;
// 循环开始前仅做一次预编译
insertQuery.prepare("INSERT INTO MyTable VALUES(?, ?, ?, ?)");
// 开启显式事务
insertQuery.database().transaction();

const int BATCH_SIZE = 2000; // 批次大小可根据机器性能调整，1000-10000均为合理区间
int row = 0;
while (row < maxRow)
{
    QList<QVariant> colInt, colFloat, colStr, colNull;
    for (int i = 0; i < BATCH_SIZE && row < maxRow; ++i, ++row)
    {
        colInt << 1;                // int类型直接塞QVariant，无需转字符串
        colFloat << 1.23;           // float类型直接塞QVariant
        colStr << "I am string";    // 字符串直接传入
        colNull << QVariant();      // 标准NULL值用空QVariant表示，不要传字符串"NULL"
    }
    // 批量绑定列数据
    insertQuery.addBindValue(colInt);
    insertQuery.addBindValue(colFloat);
    insertQuery.addBindValue(colStr);
    insertQuery.addBindValue(colNull);
    // 整批执行
    insertQuery.execBatch();
}
// 统一提交事务
insertQuery.database().commit();

同环境下100万行数据用该实现可以做到秒级完成，性能是你当前两个方案的几十倍。

针对「QString::number耗时过高，是否有更高效数值转字符串方法」的解答 #

如果你使用上述批量绑定方案，99%的场景完全不需要做数值转字符串操作——int、float类型直接存入QVariant交给数据库驱动处理即可，从根源上避免了数值序列化的开销，比任何优化过的转字符串算法效率都高。

如果你确实有特殊场景必须做数值转字符串：

• Qt 6.2及以上版本已经对QString::number的浮点转换逻辑做了算法升级，老版本存在的性能问题已经修复，你当前使用的Qt 6.1.3可以升级小版本获得免费性能提升。
• 如果不方便升级Qt版本，可以直接集成Dragonbox等高速浮点转字符串实现，转换结果构造为QString使用，老版本Qt下性能比原生QString::number高3~5倍，注意转换后需要自行处理精度截断、SQL特殊字符转义逻辑。

内容的提问来源于stack exchange，提问作者SuperNoooob