如何在IDE中直接运行基于Spark的Beam作业以方便调试？

要在IDE里直接运行Beam Spark作业，核心是配置好本地运行的依赖与参数，具体步骤如下：

1. 配置项目依赖 #

确保构建文件（Maven/Gradle）中包含Spark Runner的完整依赖，不要将Spark相关依赖设为provided（本地运行需要加载这些依赖）。

Maven示例（pom.xml） #

<dependencies>
    <!-- Beam核心依赖 -->
    <dependency>
        <groupId>org.apache.beam</groupId>
        <artifactId>beam-sdks-java-core</artifactId>
        <version>你的Beam版本</version>
    </dependency>
    <!-- Spark Runner依赖 -->
    <dependency>
        <groupId>org.apache.beam</groupId>
        <artifactId>beam-runners-spark-3</artifactId>
        <version>你的Beam版本</version>
    </dependency>
    <!-- Spark本地运行所需依赖 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>你的Spark版本</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.12</artifactId>
        <version>你的Spark版本</version>
        <scope>runtime</scope>
    </dependency>
</dependencies>

Gradle示例（build.gradle） #

dependencies {
    implementation 'org.apache.beam:beam-sdks-java-core:你的Beam版本'
    implementation 'org.apache.beam:beam-runners-spark-3:你的Beam版本'
    implementation 'org.apache.spark:spark-core_2.12:你的Spark版本'
    runtimeOnly 'org.apache.spark:spark-streaming_2.12:你的Spark版本'
}

注意：务必保证Beam与Spark版本相互兼容，避免出现依赖冲突。

2. 修改代码中的Runner配置 #

在作业的主类中，指定使用SparkRunner，并设置Spark本地运行模式：

Java代码示例 #

import org.apache.beam.runners.spark.SparkRunner;
import org.apache.beam.runners.spark.SparkPipelineOptions;
import org.apache.beam.sdk.Pipeline;
import org.apache.beam.sdk.options.PipelineOptionsFactory;

public class LocalBeamSparkJob {
    public static void main(String[] args) {
        // 初始化SparkPipelineOptions
        SparkPipelineOptions options = PipelineOptionsFactory.as(SparkPipelineOptions.class);
        
        // 指定使用Spark Runner
        options.setRunner(SparkRunner.class);
        // 设置Spark运行模式为local[*]，自动使用所有可用CPU核心
        options.setSparkMaster("local[*]");
        // 设置作业名称
        options.setAppName("Local Beam Spark Debug Job");
        // 如果是流处理作业，开启流模式
        options.setStreaming(true);

        // 构建并运行Pipeline
        Pipeline pipeline = Pipeline.create(options);
        // 这里添加你的Pipeline业务逻辑（比如读取数据源、转换、输出等）
        // ...
        
        // 启动作业并等待完成
        pipeline.run().waitUntilFinish();
    }
}

3. IDE中直接运行调试 #

• 在IDE（如IntelliJ IDEA、Eclipse）中，直接右键点击主类的main方法，选择"Run"或"Debug"即可启动作业。
• 若遇到依赖冲突（如Guava、SLF4J版本不一致），可在构建文件中排除冲突的依赖模块，例如排除Spark自带的Guava：

  <!-- Maven排除冲突示例 -->
  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>你的Spark版本</version>
      <exclusions>
          <exclusion>
              <groupId>com.google.guava</groupId>
              <artifactId>guava</artifactId>
          </exclusion>
      </exclusions>
  </dependency>
  

4. 调试技巧 #

• 在DoFn、Transform等处理逻辑中设置断点，IDE会在断点处暂停，方便查看数据流转与变量状态。
• 调整日志级别（如在代码中添加org.slf4j.Logger配置），可以更清晰地查看作业运行的细节日志。

内容的提问来源于stack exchange，提问作者zjffdu