Flask迁移至DuckDB后退出时数据丢失问题求助

核心原因：DuckDB与PostgreSQL的事务/持久化特性差异 #

你的问题本质是忽略了DuckDB在事务模型、持久化机制上和PostgreSQL的区别：

• DuckDB默认采用单连接事务模型，连接未正确关闭或提交时，事务变更可能停留在WAL（预写日志）中未落地到磁盘；
• 多次零散的commit操作会打乱事务上下文，加上finally块中flush+close的顺序错误，导致最后几次提交的变更未真正持久化；
• 重启时的外键约束错误，是因为WAL回放时发现部分依赖的审计记录未落地，导致关联数据的约束校验失败。

具体修复步骤 #

1. 合并事务，避免零散提交 #

把最后三次表更新合并到同一个事务中，确保所有变更要么全部生效，要么全部回滚，消除事务边界混乱：

# 替换原代码中从添加审计条目到返回响应的全部逻辑
try:
    # 批量添加审计记录
    db.session.add(new_audit_history_entry)
    db.session.add(new_audit_log_entry)
    
    # 更新任务队列状态
    update_task = TaskQueue.query.get(task_id)
    update_task.completed_at = datetime.now()
    update_task.status = 'Complete'
    
    # 一次性提交所有变更
    db.session.commit()
except Exception as e:
    db.session.rollback()
    # 可在此添加错误日志记录
finally:
    # 先关闭会话，确保变更刷写磁盘
    db.session.close()
    
    # 如需验证结果，重新打开会话查询
    with db.session_scope():
        audit_history = AuditHistory.query.all()
        audit_logs = AuditLog.query.all()
        tasks = TaskQueue.query.all()
    
    return jsonify({'message': 'Files saved and validated!', 'This many files: ': len(files)})

2. 配置SQLAlchemy适配DuckDB持久化要求 #

在Flask配置中添加DuckDB专属参数，强制事务刷写磁盘：

app.config['SQLALCHEMY_DATABASE_URI'] = 'duckdb:///path/to/your/database.duckdb'
app.config['SQLALCHEMY_ENGINE_OPTIONS'] = {
    'connect_args': {
        'access_mode': 'READ_WRITE',
        'checkpoint': 'FULL'  # 强制触发检查点，确保WAL刷写到磁盘
    }
}

注：checkpoint=FULL会增加IO开销，生产环境可调整为SEQUENTIAL，或在关键操作后手动触发检查点：

db.engine.execute("CHECKPOINT")

3. 修复已损坏的数据库 #

如果已经出现外键约束错误，先执行DuckDB的修复命令恢复数据库一致性：

PRAGMA repair;

4. 调整会话操作顺序 #

原代码中先查询再关闭会话的逻辑错误，DuckDB只有在会话关闭时才会确保所有变更持久化，必须先关闭会话，再重新打开会话验证结果。

关键注意事项 #

• DuckDB不支持多连接并发写操作，确保Flask应用以单进程模式运行；
• 不要在事务中间单独执行flush()，它仅把变更写入WAL，不会持久化到磁盘；
• 生产环境中，建议在批量数据操作后手动执行CHECKPOINT，避免数据丢失。

内容的提问来源于stack exchange，提问作者dongle