RocksDB 7.9.0无法打开6.2.2版本文件？启动崩溃求助

我们使用RocksDB已有多年，通过.NET进程的RocksDbSharp生成RocksDB数据，由基于C11编译的C库读取，二者均为2018年左右版本，且都使用Snappy压缩。当前尝试升级至新版本RocksDB（7.9.0），单元测试中新C++库可正常创建并读取新文件，但访问旧数据时，首次调用rocksdb::DB::Open即出现段错误（崩溃），调用栈指向LoadTableHandlers。

相关代码 #

rocksdb::DB* db;
rocksdb::Options options;
options.compression = rocksdb::CompressionType::kSnappyCompression;
options.create_if_missing = false;
rocksdb::Status status = rocksdb::DB::Open(options, myValidPath, &db);

调用栈信息 #

ZwWaitForSingleObject 0x00007ffff97ad144
WaitForSingleObjectEx 0x00007ffff6ef306e
pthread_join 0x0000000064945edc
_ZNSt6thread4joinEv 0x000000006fce0577
rocksdb::VersionBuilder::Rep::LoadTableHandlers(rocksdb::InternalStats*, int, bool, bool, std::shared_ptr<rocksdb::SliceTransform const> const&, unsigned long long) 0x00000000009747d8
rocksdb::VersionBuilder::LoadTableHandlers(rocksdb::InternalStats*, int, bool, bool, std::shared_ptr<rocksdb::SliceTransform const> const&, unsigned long long) 0x00000000007e86fb
rocksdb::VersionEditHandler::LoadTables(rocksdb::ColumnFamilyData*, bool, bool) 0x00000000007ea471
rocksdb::VersionEditHandler::CheckIterationResult(rocksdb::log::Reader const&, rocksdb::Status*) 0x00000000007ec8c8
rocksdb::VersionEditHandlerBase::Iterate(rocksdb::log::Reader&, rocksdb::Status*) 0x00000000007ebe4c
rocksdb::VersionSet::Recover(std::vector<rocksdb::ColumnFamilyDescriptor, std::allocator<rocksdb::ColumnFamilyDescriptor> > const&, bool, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >*, bool) 0x00000000005bc135
rocksdb::DBImpl::Recover(std::vector<rocksdb::ColumnFamilyDescriptor, std::allocator<rocksdb::ColumnFamilyDescriptor> > const&, bool, bool, bool, unsigned long long*, rocksdb::DBImpl::RecoveryContext*) 0x0000000000570caf
rocksdb::DBImpl::Open(rocksdb::DBOptions const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::vector<rocksdb::ColumnFamilyDescriptor, std::allocator<rocksdb::ColumnFamilyDescriptor> > const&, std::vector<rocksdb::ColumnFamilyHandle*, std::allocator<rocksdb::ColumnFamilyHandle*> >*, rocksdb::DB**, bool, bool) 0x00000000005698bb
rocksdb::DB::Open(rocksdb::Options const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, rocksdb::DB**) 0x000000000056b88f
main TestMain.cpp:131
__tmainCRTStartup 0x00000000004013c7
mainCRTStartup 0x00000000004014fb
BaseThreadInitThunk 0x00007ffff8a174b4
RtlUserThreadStart 0x00007ffff97626a1
0x0000000000000000

疑问 #

是否需要调整RocksDB的配置参数来解决该问题？

1. 启用旧版本兼容配置参数 #

崩溃发生在加载旧表处理逻辑时，大概率是新版本对旧格式的默认兼容开关未开启，尝试添加以下配置：

• options.allow_mmap_reads = false：旧版本可能依赖非内存映射的文件读取方式，新版本默认开启mmap可能导致旧数据内存访问异常。
• options.allow_old_style_compression = true：强制兼容旧压缩格式的处理逻辑，避免Snappy压缩格式的版本差异导致解析失败。
• options.skip_checking_sst_file_sizes_on_open = true：跳过SST文件大小校验，旧版本生成的文件元数据可能与新版本校验逻辑不匹配。

调整后的代码示例：

rocksdb::DB* db;
rocksdb::Options options;
options.compression = rocksdb::CompressionType::kSnappyCompression;
options.create_if_missing = false;
// 添加兼容配置
options.allow_mmap_reads = false;
options.allow_old_style_compression = true;
options.skip_checking_sst_file_sizes_on_open = true;
rocksdb::Status status = rocksdb::DB::Open(options, myValidPath, &db);

2. 显式指定默认列族打开 #

2018年的RocksDB版本默认仅使用默认列族，新版本对列族处理更严格，尝试显式指定列族打开：

std::vector<rocksdb::ColumnFamilyDescriptor> column_families;
column_families.emplace_back("default", rocksdb::ColumnFamilyOptions());
std::vector<rocksdb::ColumnFamilyHandle*> handles;
rocksdb::Status status = rocksdb::DB::Open(options, myValidPath, column_families, &handles, &db);
// 使用完成后需关闭handles
for (auto handle : handles) {
    db->DestroyColumnFamilyHandle(handle);
}

3. 确认Snappy库版本一致性 #

确保新版本C++库链接的Snappy版本与2018年使用的版本一致，或新版本RocksDB编译时启用了旧格式兼容支持。若使用RocksDB内置Snappy，需确认编译参数未禁用旧格式兼容。

4. 兜底方案：数据迁移 #

若上述配置无效，可使用旧版本RocksDB将数据导出为SST或文本格式，再导入新版本RocksDB。

内容的提问来源于stack exchange，提问作者Vadim Berman