如何通过Terraform向AWS Glue脚本传递环境变量

嗨，我来帮你搞定这个问题！要给Terraform配置的AWS Glue Job传递环境变量，让Python脚本能用os.getenv()读取到，其实可以借助Glue基于Spark的特性来实现，下面给你详细说清楚步骤：

1. 在Terraform配置里添加环境变量参数 #

在aws_glue_job资源的default_arguments块中，通过--conf参数来设置Spark驱动和执行器的环境变量——这是Glue分布式场景下最稳妥的方式，能保证驱动和执行器进程都能拿到变量值。

修改后的Terraform代码示例：

resource "aws_glue_job" "example" {
  name             = "example job"
  role_arn         = aws_iam_role.example.arn
  number_of_workers=4

  command {
    name            = "gluestreaming"
    script_location = "s3://${aws_s3_bucket.test.data}/my_script.py"
  }
  # ... 其他原有配置 ...

  default_arguments = {
    "--continuous-log-logGroup"          = aws_cloudwatch_log_group.example.name
    "--enable-continuous-cloudwatch-log" = "true"
    "--enable-continuous-log-filter"     = "true"
    "--enable-metrics"                   = ""
    # 添加环境变量配置，替换成你需要的键值对
    "--conf" = "spark.driverEnv.some_key=你的自定义值,spark.executorEnv.some_key=你的自定义值"
  }
}

• spark.driverEnv.some_key：给Glue的驱动进程设置环境变量
• spark.executorEnv.some_key：给Glue的执行器进程设置环境变量（分布式任务必备）

如果要传递多个环境变量，用逗号分隔即可，比如：

"--conf" = "spark.driverEnv.key1=val1,spark.driverEnv.key2=val2,spark.executorEnv.key1=val1,spark.executorEnv.key2=val2"

2. 在Python脚本中读取环境变量 #

你的脚本不用做太多改动，直接用os.getenv()读取对应的变量名就行，和你原本的写法一致：

import sys
import os
from awsglue.transforms import *
...

# 读取环境变量，第二个参数是默认值（可选）
my_env_value = os.getenv('some_key', default=None)
# 可以打印验证一下是否拿到值
print(f"读取到的环境变量值：{my_env_value}")

额外说明：另一种简化方式（适合非分布式场景） #

如果你的Glue Job不需要分布式执行，也可以直接在default_arguments里加自定义参数，比如：

default_arguments = {
  # ... 其他配置 ...
  "--some_key" = "你的自定义值"
}

这时候脚本里需要读取带前缀的环境变量：

my_env_value = os.getenv('GLUE_ARG_SOME_KEY', default=None)

不过这种方式在分布式任务中，执行器进程可能拿不到这个变量，所以更推荐前面的Spark --conf方案。

备注：内容来源于stack exchange，提问作者nohardfeelings