Apache Flink 1.9.0与Apache Beam兼容适配Runner发布时间咨询

首先得明确：Beam的Flink运行器版本必须和你使用的Flink集群版本严格匹配，你用了适配Flink 1.8的beam-runners-flink-1.8去连接Flink 1.9.0集群，两者的作业图序列化格式存在差异，这就是你遇到反序列化错误的核心原因。

针对你问的适配Flink 1.9.0的运行器发布时间：Apache Beam 2.16.0版本在2019年10月正式发布，这个版本首次引入了对Flink 1.9.0的官方支持，对应的运行器工件是beam-runners-flink-1.9。

解决办法 #

你有两个可选方案：

• 升级Beam版本并替换运行器依赖
  将Maven依赖替换为适配Flink 1.9的版本，示例如下：

  <dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-runners-flink-1.9</artifactId>
      <version>2.16.0</version>
      <scope>runtime</scope>
  </dependency>
  

  后续更高版本的Beam（比如2.17+）也都兼容这个运行器，你可以根据需求选择合适的Beam版本。

• 降级Flink版本
  如果你想继续使用Beam 2.15.0，那只能将Flink集群降级到1.8.x系列版本，因为Beam 2.15.0仅提供对Flink 1.8的官方支持。

内容的提问来源于stack exchange，提问作者Fred T