Flink 1.15.2 RocksDB自定义选项工厂配置错误：禁用块缓存失败

核心原因 #

RocksDB默认开启了cache_index_and_filter_blocks参数，该参数要求必须启用块缓存。当你通过自定义OptionsFactory禁用块缓存后，这个参数与块缓存禁用的设置产生冲突，触发启动报错。

修复方案 #

在自定义OptionsFactory中，需同时完成两个配置：禁用块缓存，以及关闭cache_index_and_filter_blocks参数，确保索引和过滤器不依赖缓存。示例代码如下：

import org.apache.flink.contrib.streaming.state.RocksDBOptionsFactory;
import org.rocksdb.BlockBasedTableConfig;
import org.rocksdb.Options;

public class NoBlockCacheOptionsFactory implements RocksDBOptionsFactory {
    @Override
    public Options createOptions(String statePath) {
        Options options = new Options();
        BlockBasedTableConfig tableConfig = new BlockBasedTableConfig();
        
        // 禁用块缓存
        tableConfig.setBlockCache(null);
        // 关闭索引和过滤器的缓存，解除参数冲突
        tableConfig.setCacheIndexAndFilterBlocks(false);
        // 确保过滤器不使用缓存（可选但建议）
        tableConfig.setCacheIndexAndFilterBlocksWithHighPriority(false);
        
        options.setTableFormatConfig(tableConfig);
        return options;
    }

    @Override
    public void close() throws Exception {
        // 按需完成资源清理
    }
}

额外检查点 #

• 确认Flink全局配置中没有强制启用块缓存的参数，比如state.backend.rocksdb.table.block.cache.size这类配置会覆盖自定义选项，需确保未设置或已清除。
• 验证自定义OptionsFactory是否正确绑定到Flink环境：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new RocksDBStateBackend("file:///your/state/path"));
((RocksDBStateBackend) env.getStateBackend()).setRocksDBOptionsFactory(new NoBlockCacheOptionsFactory());

内容的提问来源于stack exchange，提问作者Sean L