如何在RocksDB中按key排序以提升海量kv数据比对性能

首先澄清一个误区：RocksDB默认所有底层SSTable文件都是按key字典序有序组织的，你遇到的乱序写入后耗时飙升的问题，本质是乱序写入触发了更高的写放大、频繁compaction，同时查询阶段缓存命中率暴跌，和RocksDB内部数据是否排序无关。

针对你的场景可选用以下任意一种方案优化：

1. 写入前对folder1全量数据预排序 #

这是成本最低、优化效果最明显的方案，完全可以恢复到你之前有序写入的性能：

• 直接用系统自带的sort命令做全局排序，参考命令：sort -t ',' -k1,1 folder1/* > sorted_folder1.txt，sort默认支持大文件外部排序，不需要担心内存不足的问题。
• 排序完成后再逐行拆分key-value写入RocksDB即可。

2. 调整RocksDB配置适配乱序写入 #

如果你无法提前对数据做排序，可以通过调整参数降低乱序写入的开销：

• 增大write_buffer_size到64MB~128MB，减少MemTable刷盘的频率，降低后续小文件compaction的次数。
• 适当调高level0_file_num_compaction_trigger阈值，避免Level0少量文件就触发compaction。
• 改用WriteBatch批量写入，每次攒1000~10000条数据再批量提交，大幅降低单条写入的IO开销。
• 如果你的key有固定前缀规则，配置prefix_extractor缩小查询和compaction的扫描范围。

3. 优化查询阶段性能 #

你提到测试时folder2和folder1的乱序顺序完全一致，可以先把folder2的一批查询key按排序后再批量查询RocksDB，将随机读转为接近顺序读，大幅提升块缓存命中率，查询性能会有明显提升。

内容的提问来源于stack exchange，提问作者cknelle