如何程序化将旧MWAA环境的变量与连接导入Terraform新环境？

核心思路 #

通过AWS CLI结合Terraform的本地执行器，在新MWAA环境创建完成后，自动从旧环境拉取变量和连接配置并批量导入，避开直接调用Airflow CLI的VPC访问限制和超时问题。

具体步骤 #

1. 确认权限
   确保执行Terraform的IAM实体拥有以下权限：

   • mwaa:GetEnvironment（读取旧环境配置）
   • mwaa:UpdateEnvironment（更新新环境配置）

2. Terraform集成导入逻辑
   在你的MWAA环境Terraform代码中添加null_resource，配合local-exec触发导入脚本：

# 读取旧MWAA环境数据，用于触发更新逻辑的幂等性
data "aws_mwaa_environment" "old_mwaa" {
  name = var.old_mwaa_environment_name
}

# 创建新MWAA环境（你的现有代码）
resource "aws_mwaa_environment" "new_mwaa" {
  # 你的环境配置：name、role_arn、network_configuration等
}

# 自动导入旧环境的变量和连接
resource "null_resource" "import_mwaa_config" {
  depends_on = [aws_mwaa_environment.new_mwaa]

  # 仅当旧环境配置或新环境ID变化时触发，避免重复执行
  triggers = {
    old_env_config_hash = sha256(jsonencode(data.aws_mwaa_environment.old_mwaa))
    new_env_id          = aws_mwaa_environment.new_mwaa.id
  }

  provisioner "local-exec" {
    command = <<EOT
      # 拉取旧环境变量并更新新环境
      OLD_VARS=$(aws mwaa get-environment --name ${data.aws_mwaa_environment.old_mwaa.name} | jq '.Environment.EnvironmentVariables')
      aws mwaa update-environment --name ${aws_mwaa_environment.new_mwaa.name} --environment-variables "$OLD_VARS"

      # 拉取旧环境连接并更新新环境
      OLD_CONNECTIONS=$(aws mwaa get-environment --name ${data.aws_mwaa_environment.old_mwaa.name} | jq '.Environment.Connections')
      aws mwaa update-environment --name ${aws_mwaa_environment.new_mwaa.name} --connections "$OLD_CONNECTIONS"
    EOT
    interpreter = ["/bin/bash", "-c"]
  }
}

3. 关键细节处理

• 敏感变量兼容：旧环境的敏感变量（SecureString类型）不会被明文返回，但update-environment会自动保留其敏感属性，无需额外处理。
• 连接依赖校验：确保新环境所在区域/账户已存在旧环境连接对应的资源（如S3桶、Redshift集群等），否则更新会失败。
• 超时问题规避：使用AWS官方的mwaa CLI命令而非直接调用Airflow Webserver的POST接口，无需考虑VPC内访问限制，稳定性更高。

内容的提问来源于stack exchange，提问作者Luis Felipe