关于Flink外部化检查点的两个技术问题

嘿，我之前也踩过这个坑！GlobalConfiguration.loadConfiguration()那套在IDE里确实不好使，因为它默认是加载Flink集群安装目录下的flink-conf.yaml配置文件，咱们在IDE本地运行时根本没有这个环境依赖，所以得换个更直接的方式——给你的StreamExecutionEnvironment手动配置检查点参数。

下面是亲测有效的实现步骤：

1. 创建自定义Configuration实例，直接设置检查点目录
   不用去加载全局配置，直接new一个Configuration对象，把state.checkpoints.dir参数设置成你本地的路径（或者分布式存储路径，比如HDFS）。

2. 用这个配置初始化执行环境
   把配置传给StreamExecutionEnvironment.getExecutionEnvironment(cfg)，这样环境就会用上你指定的检查点配置。

3. 别忘了启用外部化检查点的清理策略
   光设置目录还不够，得调用enableCheckpointing后，配置外部化检查点的保留规则，不然任务停止后检查点可能会被自动清理。

完整的代码示例如下：

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.environment.CheckpointConfig;

public class IDECheckpointDemo {
    public static void main(String[] args) throws Exception {
        // 1. 自定义配置检查点目录
        Configuration flinkCfg = new Configuration();
        // 本地文件系统路径，Windows请改成类似 file:///C:/your/checkpoint/path
        flinkCfg.setString("state.checkpoints.dir", "file:///Users/xxx/flink-checkpoints");
        // 如果用HDFS的话，写成 hdfs://your-namenode:9000/flink-checkpoints

        // 2. 用配置初始化执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(flinkCfg);

        // 3. 启用检查点并配置外部化保留策略
        env.enableCheckpointing(5000); // 每5秒触发一次检查点
        CheckpointConfig checkpointConfig = env.getCheckpointConfig();
        // 任务取消时保留检查点，也可以选 DELETE_ON_CANCELLATION 自动删除
        checkpointConfig.setExternalizedCheckpointCleanup(
                CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
        );

        // 这里写你的业务逻辑代码
        // ...

        env.execute("Flink IDE Checkpoint Demo");
    }
}

为什么GlobalConfiguration不好使？ #

简单说，GlobalConfiguration.loadConfiguration()是用来加载系统级别的Flink配置的，它会优先读取环境变量FLINK_CONF_DIR指向的目录下的flink-conf.yaml，如果没设置这个变量，就会去找Flink安装目录里的conf文件夹——但咱们在IDE里跑项目时，通常不会把Flink的配置文件放到这些默认路径里，所以自然读不到你想要的配置。

如果实在想用配置文件的方式，你也可以在IDE的运行参数里加上-Dflink.conf.dir=/path/to/your/conf，把你的自定义flink-conf.yaml放在这个路径下，但显然不如直接在代码里配置灵活。

内容的提问来源于stack exchange，提问作者James Yu