如何在Terraform中使用GitLab CI/CD变量实现Glue自动化部署

核心原理 #

Terraform会自动识别以TF_VAR_为前缀的环境变量，直接映射到对应的Terraform变量。GitLab CI的保密变量默认会作为环境变量注入到CI运行环境中，关键是让这些变量以Terraform可识别的格式传递，或直接利用GitLab的变量传递机制。

正确实现步骤 #

1. GitLab CI变量前置配置 #

在GitLab项目的Settings > CI/CD > Variables中添加所有需要的保密变量，按需勾选Protect variable和Mask variable，变量名无需带TF_VAR_前缀，比如直接设为AWS_ACCESS_KEY_ID、GLUE_JOB_NAME等。

2. .gitlab-ci.yml的两种正确写法 #

方案一：script块直接导出变量（直观易调试）

直接在执行Terraform命令的步骤中，将GitLab注入的保密变量导出为TF_VAR_前缀的格式，确保和variables.tf中的变量名完全匹配：

stages:
  - terraform

terraform-deploy:
  stage: terraform
  image: hashicorp/terraform:latest
  script:
    - cd files
    - terraform init
    # 导出GitLab保密变量为Terraform可识别的格式
    - export TF_VAR_aws_access_key_id="$AWS_ACCESS_KEY_ID"
    - export TF_VAR_aws_secret_access_key="$AWS_SECRET_ACCESS_KEY"
    - export TF_VAR_glue_job_name="$GLUE_JOB_NAME"
    - terraform plan
    - terraform apply -auto-approve
  only:
    - main

方案二：通过variables块映射（简洁集中）

在CI任务的variables块中直接定义TF_VAR_前缀的变量，值引用GitLab的保密变量，无需在script中重复导出：

stages:
  - terraform

terraform-deploy:
  stage: terraform
  image: hashicorp/terraform:latest
  variables:
    TF_VAR_aws_access_key_id: "$AWS_ACCESS_KEY_ID"
    TF_VAR_aws_secret_access_key: "$AWS_SECRET_ACCESS_KEY"
    TF_VAR_glue_job_name: "$GLUE_JOB_NAME"
  script:
    - cd files
    - terraform init
    - terraform plan
    - terraform apply -auto-approve
  only:
    - main

3. 关键注意事项 #

• 变量大小写匹配：Terraform变量名大小写敏感，TF_VAR_后的部分必须和variables.tf中的变量名完全一致（比如variables.tf中是variable "glue_job_name" {}，则环境变量需为TF_VAR_glue_job_name）。
• Docker Runner配置：确认EC2上的GitLab Runner允许传递保密变量（默认配置支持，若有自定义配置，检查runners.docker相关权限设置）。
• 调试技巧：若变量未生效，可在script中添加printenv | grep TF_VAR查看环境变量注入情况，或用terraform plan -var "aws_access_key_id=$AWS_ACCESS_KEY_ID"手动传参测试。

内容的提问来源于stack exchange，提问作者Sarathkumar U