非模板化Beam作业转GCP Dataflow模板及运行失败排查

1. 模板创建时的异常原因与修复 #

这个UnsupportedOperationException是因为你的代码在main方法里调用了pipeline.run().waitUntilFinish()，但创建Dataflow模板时，run()返回的DataflowTemplateJob对象不支持waitUntilFinish()操作——模板创建只是生成模板文件，不会启动作业，完全不需要等待作业完成。

修复方法：在代码中判断是否处于模板创建模式，跳过waitUntilFinish()调用：

public static void main(String[] args) {
    PipelineOptions options = PipelineOptionsFactory.fromArgs(args).create();
    Pipeline pipeline = Pipeline.create(options);

    // 你的Pipeline业务逻辑代码...

    PipelineResult result = pipeline.run();
    
    // 仅当未指定模板输出路径时，才执行等待作业完成逻辑
    if (!(options instanceof DataflowPipelineOptions) || 
        Strings.isNullOrEmpty(((DataflowPipelineOptions) options).getTemplateLocation())) {
        result.waitUntilFinish();
    }
}

2. 模板启动失败的排查方向 #

你创建模板的命令缺失了原运行命令中的部分关键参数，这些参数处理不当会导致模板启动失败：

• subnetwork：原运行命令指定了子网，但模板创建时未传入。如果作业必须使用固定子网，需在模板创建命令中补充该参数；如果需要启动时动态指定，要将其定义为模板参数。
• tempLocation：原命令包含该参数，模板创建时建议补充，避免启动时因临时目录缺失报错。
• 依赖完整性：Gradle打包的jar必须包含所有依赖，否则模板启动时会出现类找不到的错误。

调整后的模板创建命令（补充固定参数）：

java -jar <jar_name> 
--runner=DataFlowRunner 
--gcpTempLocation=gs://some/gcs/location 
--stagingLocation=gs://some/gcs/location/stage 
--tempLocation=gs://some/gcs/location/temp
--templateLocation=gs://some/gcs/location/templates/<job_name>
--region=<region_name> 
--project=<project_name>
--subnetwork=<subnet_name>

如果需要动态传入参数，可在代码中定义自定义Options：

public interface CustomJobOptions extends DataflowPipelineOptions {
    @Description("Subnetwork for Dataflow workers")
    @Validation.Required
    String getSubnetwork();
    void setSubnetwork(String value);
}

之后在main方法中使用该自定义Options，创建模板时无需指定该参数，启动模板时再传入即可。

3. 非模板化作业转模板作业的可行性 #

完全可以直接将非模板化Beam作业转为模板作业，核心要求：

• 代码中避免在模板创建模式下调用waitUntilFinish()
• 区分固定参数（模板创建时指定）和动态参数（启动时传入）
• 打包包含所有依赖的可执行jar（Gradle用shadowJar插件实现）

4. Gradle环境下的打包配置 #

使用Gradle的shadowJar插件生成包含所有依赖的fat jar，确保模板能加载所有类。在build.gradle中添加配置：

plugins {
    id 'java'
    id 'com.github.johnrengelman.shadow' version '7.1.2'
}

shadowJar {
    mergeServiceFiles()
    manifest {
        attributes 'Main-Class': 'com.gojek.de.jobs.EventFilterJob' // 替换为你的主类全路径
    }
}

执行./gradlew shadowJar后，生成的jar在build/libs/目录下（通常命名为<项目名>-all.jar），用这个jar来创建模板即可。

内容的提问来源于stack exchange，提问作者Siddhanta Rath