如何高效使用Terraform在1000个AWS账户创建资源？

针对在大量AWS账户中批量部署Terraform资源的场景，以下是几种高效且可扩展的方案：

1. 用for_each动态生成Provider块 #

Terraform 0.13及以上版本支持在provider块中使用for_each参数，无需手动定义数百个重复的provider配置。你可以通过变量或外部文件维护账户列表，动态生成对应的provider实例。

示例配置： #

首先定义包含账户信息的变量（可从JSON/YAML文件导入，避免硬编码）：

variable "aws_accounts" {
  type = map(object({
    account_id = string
    role_arn   = string # Terraform需要扮演的IAM角色ARN
  }))
  # 示例数据，实际可通过file("accounts.json") + jsondecode()导入外部列表
  default = {
    prod-finance = {
      account_id = "111122223333"
      role_arn   = "arn:aws:iam::111122223333:role/TerraformDeployer"
    }
    dev-engineering = {
      account_id = "444455556666"
      role_arn   = "arn:aws:iam::444455556666:role/TerraformDeployer"
    }
  }
}

然后动态生成AWS Provider：

provider "aws" {
  for_each = var.aws_accounts

  alias          = each.key # 用账户别名作为provider的别名
  assume_role {
    role_arn = each.value.role_arn
  }
}

最后批量创建资源时，通过provider参数绑定对应的实例：

resource "aws_s3_bucket" "audit_logs" {
  for_each = var.aws_accounts

  provider = aws[each.key]
  bucket   = "audit-logs-${each.value.account_id}"
  acl      = "private"

  tags = {
    Account = each.key
    Purpose = "Audit Log Storage"
  }
}

2. 结合AWS Organizations自动同步账户列表 #

如果所有目标账户都属于同一个AWS Organizations组织，可以利用Terraform的aws_organizations_accounts数据源自动拉取账户信息，无需手动维护账户列表，进一步提升扩展性。

示例配置： #

# 从AWS Organizations获取所有账户
data "aws_organizations_accounts" "all_accounts" {}

# 动态生成Provider，过滤掉不需要的账户（如根账户）
provider "aws" {
  for_each = {
    for acc in data.aws_organizations_accounts.all_accounts.accounts :
    acc.name => acc
    if acc.status == "ACTIVE" && acc.id != "<根账户ID>"
  }

  alias          = each.key
  assume_role {
    role_arn = "arn:aws:iam::${each.value.id}:role/TerraformDeployer"
  }
}

# 批量部署资源
resource "aws_cloudtrail" "org_trail" {
  for_each = data.aws_organizations_accounts.all_accounts.accounts

  provider = aws[each.value.name]
  name     = "org-wide-cloudtrail"
  s3_bucket_name = aws_s3_bucket.audit_logs[each.value.name].bucket
  # 其他CloudTrail配置
}

关键注意事项 #

• IAM角色权限：确保Terraform执行身份（本地机器或CI/CD服务的角色）有权限sts:AssumeRole所有目标账户中的部署角色，且目标角色拥有创建资源所需的权限。
• 状态文件管理：1000个资源实例会增大状态文件体积，建议启用状态压缩（Terraform默认开启），或按业务线/区域拆分Terraform配置，分散状态文件压力。
• API速率限制：AWS对API调用有速率限制，批量操作时可通过terraform apply -parallelism=20降低并行度，避免触发限流。

内容的提问来源于stack exchange，提问作者Raj