如何用Terraform通过变量批量创建多个AWS Glue Job

可以通过结构化变量+for_each遍历实现批量创建不同名称、不同脚本的Glue Job，比count更可靠且不易出错。

步骤1：定义结构化变量 #

先定义一个包含每个Job专属配置的变量，把job_name和script_location绑定在一起，避免参数错乱：

variable "glue_jobs" {
  type = list(object({
    job_name        = string
    script_location = string
  }))
  description = "批量创建的Glue Job列表，每个元素包含Job名称和脚本路径"
  # 示例配置，可根据实际需求修改
  default = [
    {
      job_name        = "sql_db_job"
      script_location = "s3://s3_bucket/sql_db_job.py"
    },
    {
      job_name        = "data_sync_job"
      script_location = "s3://s3_bucket/data_sync_job.py"
    }
  ]
}

步骤2：用for_each批量创建Glue Job #

在aws_glue_job资源中使用for_each遍历上述变量，自动关联每个Job的名称和脚本：

# 假设你已经定义了Glue所需的IAM角色和连接资源
resource "aws_iam_role" "glue_role" {
  name = "glue-job-role"
  # ...角色权限等配置（省略）
}

resource "aws_glue_connection" "your_connection" {
  name = "glue-db-connection"
  # ...连接配置（省略）
}

# 批量创建Glue Job
resource "aws_glue_job" "batch_jobs" {
  # 将列表转成以job_name为键的map，确保每个Job有唯一标识
  for_each = { for job in var.glue_jobs : job.job_name => job }

  # 绑定当前Job的名称
  name     = each.value.job_name
  # 关联Glue角色ARN
  role_arn = aws_iam_role.glue_role.arn

  # 绑定当前Job的脚本路径
  command {
    script_location = each.value.script_location
    python_version  = "3.10" # 根据你的Python版本需求调整
  }

  # 通用配置：关联Glue连接、资源容量、超时时间等
  connections = [aws_glue_connection.your_connection.name]
  max_capacity = 2
  timeout      = 30
}

为什么不用count？ #

你之前用count报错，大概率是因为count依赖索引匹配多个独立列表（比如单独的job_names和script_locations列表），这种方式存在两个问题：

1. 若两个列表长度不一致会直接报错
2. 调整列表顺序时，Terraform会认为资源发生变更，导致不必要的销毁重建

而用结构化变量+for_each的方式，每个Job的属性是绑定在一起的，且用job_name作为唯一标识，Terraform能精准跟踪资源状态，不会出现上述问题。

内容的提问来源于stack exchange，提问作者Sayon