内存版DuckDB循环执行INSERT：官方文档建议是否适用？

结论：官方文档的建议同样适用于内存版DuckDB #

内存版DuckDB虽然完全基于内存运行，不会涉及磁盘fsync这类磁盘同步操作，但自动提交模式的核心性能损耗点——大量小事务的创建与管理开销依然存在。每次单条INSERT自动提交时，数据库都要单独处理事务的开启、日志记录、状态维护等流程，累积起来会显著拖慢插入速度。

优化方案 #

和磁盘版DuckDB的优化逻辑一致：手动开启一个事务，在循环中执行所有INSERT操作后，再一次性提交事务，就能避免小事务的额外开销。

举个Python示例：

import duckdb

# 连接内存数据库
con = duckdb.connect(':memory:')
con.execute("CREATE TABLE test (id INTEGER, name VARCHAR)")

# 手动启动事务
con.execute("BEGIN TRANSACTION")

# 批量插入循环
for i in range(10000):
    con.execute("INSERT INTO test VALUES (?, ?)", (i, f"name_{i}"))

# 一次性提交所有更改
con.execute("COMMIT")

官方文档原文引用 #

如果必须在循环中使用INSERT语句加载数据，请避免在auto-commit mode（自动提交模式）下执行语句。每次提交后，数据库需要将更改同步到磁盘以确保数据不丢失。在auto-commit mode下，每条语句都会被包装在单独的事务中，这意味着每条语句都会调用fsync。在批量加载时这通常是不必要的，会显著降低程序运行速度。

内容的提问来源于stack exchange，提问作者Steephen