如何通过Terraform配置AWS Glue任务的Dependent jars path参数

控制台中「Dependent jars path」配置项对应Glue作业的内置运行参数--extra-jars，在Terraform的aws_glue_job资源中通过default_arguments字段即可完成配置，具体操作如下：

• 先将需要引用的jar包上传至S3存储桶，同时确保Glue作业关联的IAM执行角色具备该S3路径的s3:GetObject权限
• 在aws_glue_job资源中新增default_arguments配置块，添加--extra-jars键，值为jar包的S3全路径，多jar包用英文逗号分隔即可

配置示例 #

resource "aws_glue_job" "sample_job" {
  name     = "data-processing-job"
  role_arn = aws_iam_role.glue_exec_role.arn

  command {
    script_location = "s3://<你的脚本存储桶>/scripts/etl_script.py"
    python_version  = "3"
  }

  default_arguments = {
    # 对应控制台Dependent jars path配置
    "--extra-jars" = "s3://<你的依赖存储桶>/jars/xxx.jar,s3://<你的依赖存储桶>/jars/yyy.jar"
    # 其他作业参数可按需补充
    "--TempDir" = "s3://<你的临时存储桶>/temp/"
    "--enable-continuous-cloudwatch-log" = "true"
  }

  glue_version      = "4.0"
  worker_type       = "G.1X"
  number_of_workers = 2
}

注意事项 #

• 配置完成后Glue运行时会自动将指定jar包加载到类路径，无需额外修改业务代码
• 若配置后仍提示类不存在，优先检查S3路径拼写、IAM权限是否配置正确，以及jar包版本与Glue运行环境兼容

内容的提问来源于stack exchange，提问作者Prabhu