PySide6中是否有类似sqlite3 executemany()的高效批量插入方法？

核心优化措施 #

• 手动管理事务：Qt SQL默认自动提交事务，每条插入都会触发一次磁盘写入，这是速度慢的主要原因。手动开启事务，批量插入完成后再提交，能将速度提升几个数量级。
• 优化execBatch参数绑定方式：选择更高效的参数绑定形式，减少不必要的类型转换开销。

具体实现代码示例 #

基础事务优化版本 #

from PySide6.QtSql import QSqlDatabase, QSqlQuery

# 初始化数据库连接
db = QSqlDatabase.addDatabase("QSQLITE")
db.setDatabaseName("target.db")
if not db.open():
    print(f"数据库打开失败: {db.lastError().text()}")
    exit()

# 开启事务
if not db.transaction():
    print(f"事务开启失败: {db.lastError().text()}")
    db.close()
    exit()

# 准备插入语句
query = QSqlQuery(db)
# 替换为你的表名和字段
query.prepare("INSERT INTO your_table (col1, col2, col3) VALUES (?, ?, ?)")

# 假设csv_data是从CSV读取的二维数据列表（每行对应一条记录）
csv_data = [("row1_val1", "row1_val2", "row1_val3"), ...]

# 批量添加绑定参数
for row in csv_data:
    query.addBindValue(row[0])
    query.addBindValue(row[1])
    query.addBindValue(row[2])
    query.addBatch()

# 执行批量插入并提交/回滚事务
if query.execBatch():
    db.commit()
    print(f"成功插入{len(csv_data)}条记录")
else:
    db.rollback()
    print(f"插入失败: {query.lastError().text()}")

db.close()

更高效的按列绑定版本 #

如果数据量超大（百万级以上），可以按列组织参数，一次性绑定，避免逐行addBatch()的开销：

# 从csv_data中提取各列数据
col1 = [row[0] for row in csv_data]
col2 = [row[1] for row in csv_data]
col3 = [row[2] for row in csv_data]

# 直接绑定整列数据
query.bindValue(0, col1)
query.bindValue(1, col2)
query.bindValue(2, col3)

if query.execBatch():
    db.commit()
else:
    db.rollback()

额外性能提升技巧 #

• 临时关闭SQLite同步：导入前执行PRAGMA synchronous = OFF，减少磁盘同步开销，导入完成后可恢复默认值（注意：此操作会降低数据安全性，仅适合导入场景）：

  sync_query = QSqlQuery(db)
  sync_query.exec("PRAGMA synchronous = OFF")
  

• 临时关闭外键约束：如果表存在外键，导入时关闭PRAGMA foreign_keys = OFF，避免插入时的外键检查开销，完成后重新开启：

  fk_query = QSqlQuery(db)
  fk_query.exec("PRAGMA foreign_keys = OFF")
  

关于execBatch与sqlite3executemany的性能差异 #

sqlite3的executemany内部对批量插入做了深度优化，但Qt的execBatch在手动事务+合理参数绑定的前提下，性能可以接近sqlite3的水平，完全能满足百万级数据的导入需求，同时保留Qt SQL与模型视图框架的适配性。

内容的提问来源于stack exchange，提问作者user15260458