如何在Terraform中传递Glue作业的重试次数参数？

是的，你可以通过AWS Glue的内置变量结合Terraform配置，实现重试时传递对应的重试次数参数，完全匹配你要求的逻辑：首次重试传1、第二次传2、第三次传3。

核心实现思路 #

AWS Glue作业在重试时会自动设置内置环境变量 $AWS_GLUE_JOB_ATTEMPT，这个变量的值对应当前的重试轮次：首次执行（未重试）为0，第一次重试为1，第二次为2，第三次为3，完全契合你的需求。你可以直接在脚本中读取这个变量，或者通过Terraform将其作为参数传递给作业。

Terraform配置示例 #

在aws_glue_job资源中，通过default_arguments将重试次数参数传入作业：

resource "aws_glue_job" "target_job" {
  name     = "your-glue-job-name"
  role_arn = aws_iam_role.glue_exec_role.arn

  command {
    script_location = "s3://your-bucket/path/to/your-script.py"
  }

  default_arguments = {
    "--retry_count" = "$AWS_GLUE_JOB_ATTEMPT"
    # 可添加其他默认参数
  }

  max_retries = 3 # 配置最大重试次数为3
}

作业脚本中读取参数 #

如果你用Python脚本，可以通过两种方式获取重试次数：

1. 读取传递的参数：

import sys

# 重试次数：首次执行是0，第一次重试是1，以此类推
retry_count = sys.argv[1] if len(sys.argv) > 1 else "0"
print(f"当前重试次数: {retry_count}")

2. 直接读取环境变量：

import os

retry_count = os.environ.get('AWS_GLUE_JOB_ATTEMPT', '0')
print(f"当前重试次数: {retry_count}")

注意事项 #

• $AWS_GLUE_JOB_ATTEMPT 是Glue内置变量，无需手动赋值，系统会在重试时自动填充对应数值
• 若需要将“首次重试”对应的值改为1，脚本中可以对变量值做+1处理（比如int(retry_count) + 1），完全匹配你要求的计数逻辑

内容的提问来源于stack exchange，提问作者Divya