Apache Beam 2.29.0升级到2.32.0时SparkRunner抛出不支持操作异常

该异常由版本适配冲突导致：Beam 从2.30.0版本开始重构了GroupIntoBatches算子的底层实现，新增了状态（State）相关注解，但2.32.0版本中基于DStream实现的旧版Spark Runner尚未支持带状态/定时器的DoFn算子，在算子翻译阶段检测到状态注解就会直接抛出UnsupportedOperationException。
你升级Beam版本的初衷是解决Red Hat仓库移除私有构建版Guava导致的构建失败，并非必须升级到2.32.0版本，可根据自身技术栈选择以下任意一种方案修复。

• 方案1：保留Beam 2.29.0版本，手动替换Guava依赖（零业务代码改动，最稳妥）
  不需要升级Beam版本，直接在构建配置中排除所有RedHat渠道的Guava传递依赖，显式引入Maven中央仓库公开发布的兼容版Guava即可解决构建问题，原有运行逻辑完全不变，不会触发运行时异常。
  Maven配置示例：

  <!-- 所有Beam相关依赖都排除传递依赖的Guava -->
  <dependency>
    <groupId>org.apache.beam</groupId>
    <artifactId>beam-runners-spark</artifactId>
    <version>2.29.0</version>
    <exclusions>
      <exclusion>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
      </exclusion>
    </exclusions>
  </dependency>
  <!-- 显式引入Beam 2.29.0兼容的官方Guava版本 -->
  <dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>30.1.1-jre</version>
  </dependency>
  

  注意：Beam 2.29.0最高兼容Guava 30.x版本，不要引入31.x及以上版本避免出现类版本冲突。

• 方案2：保留Beam 2.32.0版本，切换Spark Runner为结构化流模式（少量配置改动）
  Beam 2.32.0版本中基于Spark Structured Streaming实现的新版Spark Runner已经完整支持状态/定时器语义，不需要修改业务代码，只需要在任务提交参数中新增以下配置即可：

  --sparkRunnerStructuredStreaming=true --experiments=use_deprecated_reads
  

  切换后注意使用全新的checkpoint路径，不要复用旧DStream模式生成的checkpoint文件，避免状态格式不兼容导致启动失败。

• 方案3：升级Beam到兼容版本
  如果坚持使用旧版DStream模式的Spark Runner，可直接将Beam版本升级到2.35.0~2.40.0区间版本：Beam从2.35.0版本开始为旧DStream Runner补齐了GroupIntoBatches的无状态兼容逻辑，不会再触发状态注解检测报错；2.40.0是最后一个适配Spark 3.2.x的Beam版本，更高版本要求Spark 3.3+，不要跨大版本升级避免出现新的适配问题。

• 不要在Beam 2.30.0~2.34.0版本区间搭配旧DStream模式的Spark Runner使用GroupIntoBatches、自定义Stateful ParDo这类带状态的算子，这些版本的旧Runner未做状态兼容，必然触发你遇到的异常。
• 手动替换Guava依赖后，执行构建时可以加mvn dependency:tree | grep guava检查依赖树，确认没有引入RedHat版本的guava包即可正常构建。

内容的提问来源于stack exchange，提问作者Fabio