基于Apache Beam的Gradle Java项目在Eclipse运行时Runner报错求助

这个错误的核心原因很明确：Apache Beam需要明确指定一个**运行器（Runner）**来执行你的Pipeline，而你的项目既没在代码/配置里指定Runner，也没有把默认的DirectRunner添加到依赖中。结合你用Gradle构建且代码里用到了Spark相关API的情况，给你两个方向的解决方案：

1. 先确保Gradle依赖中包含对应的Runner #

因为你没有pom.xml，所有依赖都在build.gradle里配置，你需要添加对应Runner的依赖：

如果你想先用DirectRunner做本地测试 #

DirectRunner是Beam的本地运行器，适合开发调试，在build.gradle的dependencies块中添加：

// 替换2.XX.X为你实际使用的Apache Beam版本，比如2.40.0
implementation 'org.apache.beam:beam-runners-direct-java:2.XX.X'

如果你要使用SparkRunner（和你代码中的SparkContextOptions匹配） #

因为你的代码里用到了SparkContextOptions，说明你打算用Spark作为运行环境，那需要添加SparkRunner及兼容的Spark依赖：

// Beam Spark Runner依赖，替换为你的Beam版本
implementation 'org.apache.beam:beam-runners-spark:2.XX.X'
// Spark核心依赖，注意版本要和Beam兼容（比如Beam 2.40对应Spark 3.3.x）
implementation 'org.apache.spark:spark-core_2.12:3.3.0'
implementation 'org.apache.spark:spark-sql_2.12:3.3.0'

另外还要确保你的build.gradle里配置了正确的仓库，能拉取这些依赖：

repositories {
    mavenCentral()
}

2. 在代码中明确指定Runner #

添加完依赖后，你需要告诉Beam用哪个Runner执行Pipeline，有两种常用方式：

方式一：在代码中直接设置 #

修改你的main方法，在创建PipelineOptions后指定Runner：

public static void main(String[] args) throws IOException {
    System.out.println("Test log");
    PipelineOptions options = PipelineOptionsFactory.create();
    // 如果你用DirectRunner
    options.setRunner(DirectRunner.class);
    // 如果你用SparkRunner，替换成下面这行
    // options.setRunner(SparkRunner.class);
    Pipeline p = Pipeline.create(options);
    // 后面的Pipeline逻辑不变...
    p.run();
}

同样，在你的modelExecution方法里，也需要给SparkContextOptions设置Runner：

public void modelExecution(){
    SparkContextOptions options = (SparkContextOptions) PipelineOptionsFactory.create();
    options.setSparkMaster("xxxxxxxxx");
    options.setRunner(SparkRunner.class); // 添加这行指定SparkRunner
    // 后面的代码不变...
}

方式二：通过运行参数指定（适合灵活切换） #

如果你不想硬编码Runner，可以在Eclipse的Run Configuration中，在Program arguments里添加：

--runner=DirectRunner

或者

--runner=SparkRunner

这样不用修改代码就能切换运行器。

额外注意点 #

• 一定要确保Beam版本和Spark版本的兼容性，版本不匹配会导致各种奇怪的依赖冲突或运行错误。
• 添加完依赖后，记得在Eclipse中执行Gradle -> Refresh Gradle Project，让依赖同步到项目中。

内容的提问来源于stack exchange，提问作者Stella