如何在Python脚本及CI/CD流程中使用Terraform输出的Redshift JDBC URL

下面分本地开发、CI/CD+DAG两个场景提供可直接落地的实现方式：

前置步骤 #

首先在Terraform代码中定义JDBC URL为输出项，可添加到main.tf或单独的outputs.tf文件：

output "redshift_jdbc_url" {
  value       = aws_redshift_cluster.<你的Redshift资源名>.jdbc_url
  description = "Redshift集群JDBC连接地址"
  sensitive   = true # 包含敏感信息时建议开启，Terraform会默认隐藏日志中的输出
}

场景1：本地开发环境获取值 #

方法1：通过Terraform输出JSON配置文件读取 #

Terraform执行apply完成后，执行命令将输出写入JSON文件：

terraform output -json redshift_jdbc_url > ./python/config/redshift_jdbc.json

Python侧读取代码：

import json

with open("/path/to/redshift_jdbc.json", "r", encoding="utf-8") as f:
    jdbc_url = json.load(f)

方法2：Python直接调用Terraform命令获取（无需落盘） #

适合不想留存配置文件的场景，直接通过subprocess调用Terraform命令拉取输出：

import subprocess
import json

def get_tf_output(output_name, tf_workdir="/path/to/terraform/project"):
    res = subprocess.run(
        ["terraform", "output", "-json", output_name],
        cwd=tf_workdir,
        capture_output=True,
        text=True,
        check=True
    )
    return json.loads(res.stdout)

jdbc_url = get_tf_output("redshift_jdbc_url")

方法3：Terraform自动生成配置文件 #

直接在Terraform中定义local_file资源，apply时自动把配置写入Python项目的对应目录：

resource "local_file" "python_redshift_config" {
  content  = jsonencode({
    redshift_jdbc_url = aws_redshift_cluster.<你的Redshift资源名>.jdbc_url
  })
  filename = "${path.module}/../<Python项目目录>/config/redshift_config.json"
}

场景2：CI/CD流程供给Airflow DAG使用 #

建议使用参数存储/密钥管理服务传递敏感值，避免硬编码或明文配置：

1. CI/CD执行阶段：Terraform apply完成后，将输出值写入参数存储（以AWS SSM Parameter Store为例，也可替换为HashiCorp Vault、阿里云参数中心等对应服务）

# 拉取明文输出值
REDSHIFT_JDBC_URL=$(terraform output -raw redshift_jdbc_url)
# 写入参数存储，类型设为加密字符串
aws ssm put-parameter \
  --name "/prod/redshift/jdbc_url" \
  --type "SecureString" \
  --value "$REDSHIFT_JDBC_URL" \
  --overwrite

2. DAG Python代码侧：直接从参数存储读取值

import boto3
from botocore.exceptions import ClientError

def get_redshift_jdbc_url(region="cn-north-1"):
    ssm_client = boto3.client("ssm", region_name=region)
    try:
        resp = ssm_client.get_parameter(
            Name="/prod/redshift/jdbc_url",
            WithDecryption=True
        )
        return resp["Parameter"]["Value"]
    except ClientError as e:
        raise RuntimeError(f"获取Redshift JDBC URL失败: {e}") from e

jdbc_url = get_redshift_jdbc_url()

如果你的DAG不需要动态更新值，也可以在CI/CD阶段用Jinja2模板直接将JDBC URL渲染到DAG Python文件中，该方式仅建议非敏感场景使用。 #

注意事项 #

• 包含密码等敏感信息的JDBC URL禁止硬编码到代码、明文配置文件或CI/CD日志中
• Terraform output开启sensitive=true后，必须加-raw参数才能获取明文值
• 本地开发可配合python-dotenv库将值存入.env文件，与线上环境配置逻辑统一

内容的提问来源于stack exchange，提问作者Adi334