Flink MapState的clear()与remove(key)方法区别及删除异常问题咨询

两个方法的核心作用 #

• remove(K key)：作用于当前KeyedState绑定的业务key对应的MapState实例，仅删除该MapState中你传入的指定子key的条目。如果调用时的上下文不是该MapState所属的业务key的处理流程，该操作会直接失效，不会修改任何状态。
• clear()：作用于当前KeyedState绑定的业务key对应的MapState实例，直接清空该实例下所有子key的所有条目，释放当前业务key绑定的整个MapState的存储空间。

调用remove(key)后仍能查询到数据的原因 #

你遇到的现象主要由两个常见误区导致：

1. KeyedState操作上下文不匹配：MapState属于键控状态，所有读写删除操作的作用域严格绑定当前正在处理的流的业务key，你无法在处理A业务key的流程中删除B业务key对应MapState里的子key，这类跨key的删除操作不会报错，但完全不生效。
2. 可查询状态的快照延迟：可查询状态默认对外提供的是最近一次成功完成的Checkpoint的状态快照，你调用remove(key)的操作会先写入状态后端的本地存储，要等下一次Checkpoint全量/增量同步完成后，可查询状态的快照才会更新，在此之前你查到的都是删除前的旧数据。

是否需要调用clear() #

不需要，除非你的业务逻辑确实要清空当前业务key下整个MapState的所有数据。如果你的需求只是删除单个子key，做两个检查即可：

1. 确认remove(key)的调用逻辑位于目标业务key的处理流程内，没有跨key操作
2. 调用删除后等待一次完整的Checkpoint执行完成，再验证可查询状态的返回结果

另外如果发现Checkpoint体积持续增长，需要检查你是否配置了状态TTL：未配置TTL的情况下，即便你删除了MapState内的子key，状态后端不会自动回收历史残留的无效状态空间，会导致Checkpoint体积持续膨胀。

内容的提问来源于stack exchange，提问作者gaurav miglani