Flink1.13.0配置RocksDBStateBackend仍报状态超出内存限制问题咨询

你遇到的是Flink 1.13.0的已知版本bug：即使显式配置了RocksDBStateBackend，部分场景下检查点流创建工厂会错误回退为MemoryCheckpointStreamFactory。内存状态后端默认单状态最大限制为5MB（即报错信息中的5242880字节），当你的单状态大小超过该阈值时就会抛出对应异常。

方案1：升级Flink版本（优先推荐） #

该bug已在Flink 1.13.1及以上版本修复，升级到更高的1.13稳定小版本、或1.14+版本即可直接解决问题。

方案2：1.13.0版本绕过方案 #

如果暂时无法升级版本，可通过以下两种方式处理：

• 方式一：修改集群配置文件
  在flink-conf.yaml中添加如下配置，强制指定检查点使用文件系统存储，同时调大内存状态后端阈值做兜底：

state.backend: rocksdb
state.checkpoints.dir: hdfs://xxxx
# 调大内存状态后端最大限制为256MB，可根据实际业务状态大小调整
state.backend.memory.max-threshold: 268435456

• 方式二：作业代码额外补充配置
  如果不方便修改集群全局配置，可在作业代码中额外显式指定检查点存储：

RocksDBStateBackend rocksDBStateBackend = new RocksDBStateBackend("hdfs://xxxx");
streamEnv.setStateBackend(rocksDBStateBackend);
// 额外显式设置检查点存储，强制初始化文件系统类型的检查点流工厂
streamEnv.getCheckpointConfig().setCheckpointStorage("hdfs://xxxx");

内容的提问来源于stack exchange，提问作者carryxyh