基于Flink运行器的Apache Beam是否支持快照启停？含Python场景

问题背景 #

在Flink集群上运行的原生流处理应用可借助Flink REST API创建快照（保存点）并从快照重启作业，例如带保存点停止操作。请问采用Flink运行器的Apache Beam是否支持通过快照实现启停？若支持，启动Beam作业的流程是怎样的？当作业采用Python编写时，该流程会有哪些变化？

回答 #

1. 支持情况 #

采用Flink运行器的Apache Beam支持通过Flink保存点（即问题中提到的快照）实现作业启停，底层直接复用Flink的保存点机制。

2. 通用启停流程 #

停止作业并生成保存点

直接使用Flink命令行工具或REST API，针对Beam作业对应的Flink Job ID执行带保存点的停止操作，操作完成后会返回生成的保存点存储路径。

从保存点重启作业

提交Beam作业时，通过配置Flink运行器的参数指定保存点路径：

• 若使用Java API提交，需添加配置项flink.runner.savepoint-path，或在命令行中传入--flink_runner.savepoint_path=<保存点路径>
• 作业启动后，Beam会将该参数传递给Flink，让作业从指定保存点恢复状态后继续运行。

3. Python编写的Beam作业的流程差异 #

• 提交参数不同：Python版作业提交时，需直接使用--savepoint_path=<保存点路径>参数，而非Java版的前缀格式。示例命令：

  python your_pipeline.py \
    --runner=FlinkRunner \
    --flink_master=<Flink集群地址> \
    --savepoint_path=<你的保存点路径>
  

• 环境一致性要求更高：重启时必须保证作业代码、Beam版本、Flink版本以及所有依赖包与停止作业时完全一致。因为Python UDF的状态序列化依赖特定环境，版本不匹配会直接导致状态反序列化失败，无法恢复作业。
• 保存点生成操作无变化：停止作业生成保存点的方式和Java版Beam作业完全一致，仍可使用Flink命令行或REST API执行，无需针对Python作业做特殊调整。

内容的提问来源于stack exchange，提问作者John