SQLite大数据库插入少量数据后关闭连接耗时久且占C盘空间求助

嘿，我之前处理过几GB级别的SQLite数据库，碰到过一模一样的问题！给你拆解下原因和可行的解决办法：

为什么会出现关闭慢+占C盘空间？ #

SQLite在关闭连接时，默认会把WAL（预写日志）里的所有修改合并到主数据库文件——这个操作叫检查点（Checkpoint）。对于10GB的数据库，这个合并过程需要读取大量数据，还会用到系统临时目录（默认在C盘）来存中间文件，所以既慢又占C盘空间。等数据库到20GB，这个问题只会更严重。

具体解决办法 #

1. 把数据库移到非C盘，彻底解决空间问题 #

这是最直接的办法！把你的example.db整个移到有足够空间的磁盘（比如D盘），然后在连接时指定完整路径：

conn = sqlite3.connect('D:/your_db_path/example.db')

这样WAL文件、临时文件都会跟着数据库文件放在D盘，再也不会占用C盘的空间了。

2. 手动触发检查点，避免关闭时一次性处理 #

不要等关闭连接时才让SQLite自动做检查点，而是在每次插入数据并提交事务后，手动触发检查点：

# 提交事务后执行
conn.execute("PRAGMA wal_checkpoint(FULL)")

这样可以把大的检查点操作拆分成多次小操作，关闭连接时就不会再花10分钟了。

3. 优化插入操作，减少WAL的生成量 #

默认情况下，SQLite每执行一次execute就会开启一个事务，这会生成大量的WAL日志，不仅增大文件，还会让后续的检查点更慢。优化方式：

• 用事务批量处理：把多次插入放在一个事务里
• 用executemany批量插入多条数据

示例代码：

import sqlite3

conn = sqlite3.connect('D:/your_db_path/example.db')
conn.execute("PRAGMA journal_mode=WAL")  # 确保启用WAL模式
c = conn.cursor()

try:
    # 开启事务
    conn.execute('BEGIN')
    # 单条插入（示例）
    c.execute("INSERT INTO stocks VALUES ('2006-01-05','BUY','RHAT',100,35.14)")
    # 批量插入示例：准备多条数据
    data = [
        ('2006-01-06', 'BUY', 'AAPL', 50, 123.45),
        ('2006-01-07', 'SELL', 'MSFT', 20, 78.90)
    ]
    c.executemany("INSERT INTO stocks VALUES (?,?,?,?,?)", data)
    # 提交事务
    conn.commit()
    # 手动检查点
    conn.execute("PRAGMA wal_checkpoint(FULL)")
except Exception as e:
    conn.rollback()
    print(f"插入失败: {e}")
finally:
    conn.close()

4. 调整临时文件目录到非C盘（如果不想移数据库） #

如果暂时不想移动数据库文件，可以把SQLite的临时文件目录改到其他盘，这样检查点时的临时文件就不会占C盘了：

conn.execute("PRAGMA temp_store_directory='D:/sqlite_temp'")
# 注意：这个目录需要提前创建好

5. 定期优化数据库 #

每隔一段时间（比如每周）运行VACUUM命令，整理数据库碎片，减少文件体积：

conn.execute("VACUUM")

不过运行VACUUM需要和数据库大小差不多的临时空间，所以一定要确保临时目录在有足够空间的盘后再执行。

总结 #

优先把数据库移到非C盘，再配合手动检查点和批量插入优化，基本就能解决关闭慢和C盘空间占用的问题。等数据库到20GB时，只要你的目标磁盘有足够空间，这些操作依然有效。

内容的提问来源于stack exchange，提问作者Varun Kumar