如何通过Terraform为已存在的Composer环境设置环境变量

场景1：用同一Terraform配置创建Composer并设置环境变量 #

这是最简洁的方式，Terraform会自动处理资源创建顺序和依赖关系，无需手动干预。

直接在Composer资源定义中，引用其自动生成的存储桶名称来设置环境变量：

resource "google_composer_environment" "my_composer" {
  name   = "your-composer-env-name"
  region = "your-region" # 例如 us-central1

  config {
    node_count = 3 # 根据你的需求调整

    software_config {
      image_version = "composer-2.8.0-airflow-2.8.0" # 使用合适的版本

      # 将自动生成的存储桶名设为环境变量
      environment_variables = {
        DAG_BUCKET_NAME = google_composer_environment.my_composer.config.gcs_bucket
      }
    }
  }
}

执行terraform apply后，Terraform会先完成Composer环境的创建，获取到存储桶名称后，自动将其注入到环境变量中。

场景2：为已存在的Composer环境设置环境变量 #

如果Composer环境不是通过Terraform创建的，需要先将其导入Terraform状态，再进行修改：

1. 定义资源配置
   创建一个Terraform配置文件，填入已存在环境的基本信息和要设置的环境变量：

resource "google_composer_environment" "existing_composer" {
  name   = "your-existing-env-name"
  region = "your-region"

  config {
    software_config {
      # 引用环境自身的存储桶名称，同时保留原有环境变量（如果有）
      environment_variables = {
        DAG_BUCKET_NAME = google_composer_environment.existing_composer.config.gcs_bucket
        # 加入其他已存在的环境变量，避免被清空
        # EXISTING_VAR = "existing-value"
      }
    }
  }
}

2. 导入现有资源
   运行Terraform导入命令，将已存在的Composer环境纳入Terraform管理：

terraform import google_composer_environment.existing_composer projects/[你的项目ID]/locations/[你的区域]/environments/[你的环境名称]

3. 应用变更
   执行terraform plan确认变更内容，再运行terraform apply完成环境变量的设置。

验证环境变量 #

• 在GCP控制台的Composer环境详情页，查看「软件配置」下的环境变量列表。
• 在Airflow DAG中，通过os.getenv("DAG_BUCKET_NAME")即可获取存储桶名称。

注意事项 #

• 确保使用最新版本的Terraform Google Provider，避免兼容性问题。
• 如果原有环境已存在其他环境变量，必须在environment_variables块中一并声明，否则Terraform会清空未列出的变量。

内容的提问来源于stack exchange，提问作者Tejaswini Savkar