DuckDB无法保存16GB大型数据库问题求助

问题场景 #

• 环境：Windows 64位系统，Python 3.10.2，通过SQLMagic连接本地DuckDB文件database.db
• 现象：操作过程中数据正常，关闭连接或重启环境后数据丢失，使用DuckDB CLI操作也出现相同问题
• 已排除：SQL语句逻辑问题

排查与解决步骤 #

• 强制提交事务
  DuckDB在大体积数据写入场景下可能不会自动提交事务。操作完成后显式执行COMMIT;，或者在SQLMagic中开启自动提交：

  %config SqlMagic.autocommit = True
  

• 检查文件写入权限
  确认database.db所在目录的写入权限：

  1. 右键目标目录，选择「属性」-「安全」
  2. 确保当前用户拥有「修改」「写入」权限
  3. 避免将数据库放在系统保护目录（如Program Files、系统盘根目录），迁移到普通用户目录（如Documents）测试

• 升级DuckDB版本
  旧版本DuckDB在Windows大文件场景下可能存在写入bug，升级到最新稳定版：

  pip install --upgrade duckdb duckdb-sqlalchemy
  

  同步升级DuckDB CLI到对应版本后重新测试

• 验证磁盘状态

  1. 检查磁盘剩余空间，确保远大于16GB数据库占用量，避免因空间不足导致写入失败
  2. 使用Windows磁盘检查工具扫描磁盘错误：右键目标磁盘-「属性」-「工具」-「检查」，排除硬件故障

• 显式关闭连接
  不要依赖自动关闭逻辑，手动确保连接关闭并完成磁盘写入：
  在Jupyter中执行显式断开命令：

  %sql DISCONNECT;
  

  或通过SQLAlchemy显式管理连接：

  from sqlalchemy import create_engine
  engine = create_engine("duckdb:///./database.db")
  conn = engine.connect()
  # 执行数据操作
  conn.commit()
  conn.close()
  engine.dispose()
  

• 确认连接字符串正确性
  再次核对连接字符串duckdb:///./database.db，确保是持久化文件模式：三个斜杠后必须指定本地文件路径，若为duckdb://则是内存模式，数据不会保存。同时可改为绝对路径测试：

  %sql duckdb:///C:/Users/YourUser/Documents/database.db
  

内容的提问来源于stack exchange，提问作者xonturis