如何通过AWS Glue CLI update-job命令配置作业参数?
Glue 控制台的作业参数没有对应的独立CLI配置项,你可以直接将自定义作业参数追加到DefaultArguments字典中即可生效,二者底层共用同一配置字段。
自定义作业参数的键需要统一以--开头,和你已配置的内置作业参数格式保持一致即可,修改后命令示例如下:
- name: Update Glue job run: | aws glue update-job --job-name "${{ env.notebook_name }}-job" \ --job-update "Role=${{ env.glue_service_role }}, Command={Name=glueetl, ScriptLocation=${{ env.aws_s3_bucket }}/etl/${{ env.notebook_name }}_${GITHUB_SHA}.py}, DefaultArguments={'--job-bookmark-option':'job-bookmark-enable', '--enable-metrics': 'enable', '--enable-continuous-cloudwatch-log': 'enable', '--自定义参数名1': '自定义参数值1', '--自定义参数名2': '自定义参数值2'}" \ --region ${{ env.region }}
配置完成后,你在Glue脚本中可以直接通过getResolvedOptions方法读取自定义参数值。
内容的提问来源于stack exchange,提问作者TechNewbie
相关产品推荐
相关产品推荐

