Cloud Composer中Airflow运行DataFlow Java Operator DAG报错求助
Cloud Composer中Airflow运行DataFlow Java Operator DAG报错求助
各位大佬好,我现在在Cloud Composer的Airflow环境里运行DataFlow Java Operator的DAG时碰到了问题,想请大家帮忙排查下。下面是我的DAG配置代码片段,麻烦帮忙看看哪里可能出问题了:
default_args = { 'retries': 0, 'start_date': airflow.utils.dates.days_ago(0), 'owner': 'Airflow_TEST', 'dataflow_default_options': { 'project': 'gcp_project', 'region': 'us-west', "serviceAccount": 'my_airflow_composer.SA.com', "stagingLocation": "gs://project/my_dir/staging/", 'tempLocation': 'gs://project/my_dir/tmp/', 'subnetwork': 'subnetworks/dataflow', 'workerMachineType': 'my-vm', 'usePublicIps': 'false', 'filesToStage': 'lib1.jar,lib2.jar', 'secretsPath': 'gs://gcp-secret', 'dataflowKmsKey': 'crypto-key', 'inputFilePath': "gs://project/my_dir/job/myfile.txt", 'outputDirectory': "gs://project/my_dir/job/output" } } job_dataflow = DataflowCreateJavaJobOperator( gcp_conn_id='google_cloud_default', # 其他参数还在补充中,但目前运行已经出现报错 )
我自己先梳理了几个疑问点:
dataflow_default_options里的参数配置有没有格式或取值错误?比如serviceAccount的格式是否正确、subnetwork的写法是否符合要求、usePublicIps用字符串'false'是不是应该改成布尔值?- 会不会是Cloud Composer的环境权限问题?比如配置的服务账号没有足够的DataFlow运行权限?
麻烦各位帮忙看看,谢谢啦!
备注:内容来源于stack exchange,提问作者Olive
相关产品推荐
相关产品推荐

