如何修复Python Flask应用中RocksDB的IO损坏错误？

问题描述 #

开发基于RocksDB的Flask应用，首次运行可正常创建并写入数据库，但重启时出现以下错误：
rocksdb.errors.Corruption: b"Corruption: Can't access /000010.sst: IO error: No such file or directorywhile stat a file for size: database_name.db/000010.sst: No such file or directory\n"
已尝试Stack Overflow相关方案但未解决，当前代码如下：

opts = rocksdb.Options()
opts.create_if_missing = True
opts.wal_dir = absolute path to database
opts.db_log_dir = absolute path to database
opts.wal_ttl_seconds = 100
os.system('rm database_name.db/LOCK')
database_name_db = rocksdb.DB('database_name.db', opts)

问题分析 #

• 手动删除LOCK文件：LOCK是RocksDB的进程互斥锁，强行删除会破坏数据库状态一致性，尤其在进程未正常关闭时，极易引发文件缺失或损坏。
• 路径配置不一致：wal_dir和db_log_dir若与数据库主目录路径不匹配，会导致RocksDB在错误位置读写文件，重启时无法关联到正确的sst文件。
• WAL TTL设置过小：wal_ttl_seconds=100会让WAL文件过早被清理，若对应的sst文件尚未完成持久化，重启时依赖WAL恢复数据就会报错。

解决方案 #

1. 移除手动删除LOCK的代码 #

让RocksDB自行管理锁文件，正常关闭应用时会自动释放LOCK。若确有遗留锁文件导致启动失败，先确认所有占用数据库的进程已终止，再手动删除（不要硬编码到代码中）。

2. 统一数据库路径配置 #

确保wal_dir和db_log_dir指向数据库主目录的绝对路径，或直接不设置这两个参数（默认使用数据库主目录）。修正后的代码示例：

import rocksdb
import os

# 获取数据库主目录的绝对路径
db_path = os.path.abspath('database_name.db')

opts = rocksdb.Options()
opts.create_if_missing = True
# 可选：如需单独指定目录，确保路径与db_path一致
# opts.wal_dir = db_path
# opts.db_log_dir = db_path
# 调整WAL TTL为合理值，比如1天（86400秒）
opts.wal_ttl_seconds = 86400

# 移除os.system('rm ...')操作
try:
    database_name_db = rocksdb.DB(db_path, opts)
except rocksdb.errors.RocksDBError as e:
    # 仅在确认无进程占用时，尝试清理锁文件（生产环境慎用）
    lock_file = os.path.join(db_path, 'LOCK')
    if os.path.exists(lock_file):
        os.remove(lock_file)
        database_name_db = rocksdb.DB(db_path, opts)
    else:
        raise e

3. 修复损坏的数据库 #

若数据库已损坏，可使用RocksDB自带的修复工具（操作前备份数据库目录）：

rocksdb_repair database_name.db

4. 确保应用正常关闭 #

在Flask中添加关闭钩子，保证RocksDB连接被正确释放：

from flask import Flask
import rocksdb
import os

app = Flask(__name__)
db = None

@app.route('/')
def index():
    db.put(b'key', b'value')
    return 'Hello World'

@app.teardown_appcontext
def shutdown_db(exception=None):
    global db
    if db is not None:
        del db

if __name__ == '__main__':
    db_path = os.path.abspath('database_name.db')
    opts = rocksdb.Options()
    opts.create_if_missing = True
    opts.wal_ttl_seconds = 86400
    db = rocksdb.DB(db_path, opts)
    app.run()

内容的提问来源于stack exchange，提问作者Swashbuckler