You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Cloud Composer中Airflow运行DataFlow Java Operator DAG报错求助

Cloud Composer中Airflow运行DataFlow Java Operator DAG报错求助

各位大佬好,我现在在Cloud Composer的Airflow环境里运行DataFlow Java Operator的DAG时碰到了问题,想请大家帮忙排查下。下面是我的DAG配置代码片段,麻烦帮忙看看哪里可能出问题了:

default_args = {
    'retries': 0,    
    'start_date': airflow.utils.dates.days_ago(0),    
    'owner': 'Airflow_TEST',
    'dataflow_default_options': {
        'project':           'gcp_project',
        'region':            'us-west',
        "serviceAccount":    'my_airflow_composer.SA.com',
        "stagingLocation":   "gs://project/my_dir/staging/",
        'tempLocation':      'gs://project/my_dir/tmp/',
        'subnetwork':        'subnetworks/dataflow',
        'workerMachineType': 'my-vm',
        'usePublicIps':      'false',
        'filesToStage':      'lib1.jar,lib2.jar',
        'secretsPath':       'gs://gcp-secret',
        'dataflowKmsKey':    'crypto-key',
        'inputFilePath': "gs://project/my_dir/job/myfile.txt",
        'outputDirectory': "gs://project/my_dir/job/output"
    }
}

job_dataflow = DataflowCreateJavaJobOperator(
    gcp_conn_id='google_cloud_default',
    # 其他参数还在补充中,但目前运行已经出现报错
)

我自己先梳理了几个疑问点:

  • dataflow_default_options里的参数配置有没有格式或取值错误?比如serviceAccount的格式是否正确、subnetwork的写法是否符合要求、usePublicIps用字符串'false'是不是应该改成布尔值?
  • 会不会是Cloud Composer的环境权限问题?比如配置的服务账号没有足够的DataFlow运行权限?

麻烦各位帮忙看看,谢谢啦!

备注:内容来源于stack exchange,提问作者Olive

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.17 09:03:19