GCP Composer/Airflow中使用DataFlowJavaOperator如何指定JAR内的目标主类
DataFlowJavaOperator 指定JAR内多主类的执行配置
完全可以通过DataFlowJavaOperator的配置项指定需要运行的Java主类,无需将两个业务类拆分为独立JAR包。
具体配置方式
- 主类的指定入口在算子的
options参数字典中,通过mainClass键传入目标主类的全限定路径即可。 - 两个业务作业的参考配置如下:
- 执行batchjob1的配置:
DataFlowJavaOperator( task_id='batchjob1', jar='gs://bucket/path/jobs-1.0-SNAPSHOT.jar', options={ 'mainClass': 'com.your.company.package.BatchJob1' } )- 执行batchjob2的配置:
DataFlowJavaOperator( task_id='batchjob2', jar='gs://bucket/path/jobs-1.0-SNAPSHOT.jar', options={ 'mainClass': 'com.your.company.package.BatchJob2' } )
配置注意事项
mainClass的取值必须是Java类的全限定名,不能只写短类名。比如源码中batchjob1.java存放在com.your.company.package包路径下,传入的类名就必须带上完整包路径,直接写batchjob1会触发主类找不到的提交报错。- 该参数会被算子透传到底层Dataflow作业提交流程,和本地执行JAR包时通过
java -cp命令指定主类的逻辑完全等价。 - 只要在
options中显式传入了mainClass,作业提交时会优先执行你指定的类,哪怕JAR包的MANIFEST文件里配置了默认主类,也会被该配置覆盖。
内容的提问来源于stack exchange,提问作者RKP
相关产品推荐
相关产品推荐

