如何从S3文件读取参数值替换AWS Glue作业中的对应参数

AWS Glue完全支持该需求，无需硬编码环境变量，也不用每次部署修改脚本，可通过两种常用方案实现类Informatica的参数引用效果，具体如下：

方案1：作业启动前读取S3配置文件+参数注入（推荐，无需修改业务逻辑写法） #

• 第一步：创建S3配置文件，可使用JSON/INI格式存储环境变量，比如s3://你的配置桶/config/dev_config.json内容示例：

{
  "$$id": "100102102221",
  "$$env": "dev"
}

测试环境、生产环境分别对应不同的配置文件路径，比如s3://配置桶/config/prod_config.json

• 第二步：给Glue作业角色添加S3配置桶的读取权限，附加包含s3:GetObject权限的IAM策略，资源指向你的配置桶路径即可。
• 第三步：修改Glue作业脚本开头，增加读取配置的通用逻辑，自动获取参数值：

import boto3
import json

s3 = boto3.client('s3')
# 可通过Glue自带的作业参数传入当前环境标识，不用改脚本切换环境
env = glueContext.getJobOptions().get("env", "dev")
# 读取对应环境的配置文件
config_content = s3.get_object(Bucket="你的配置桶名", Key=f"config/{env}_config.json")['Body'].read().decode('utf-8')
config = json.loads(config_content)

# 业务代码直接从配置字典取值
df_bu.bu_id = config['$$id']

• 第四步：运行作业时传入环境参数即可，比如生产环境运行时作业参数传--env prod，自动读取生产配置的ID值。

方案2：基于模板渲染的自动替换（完全符合$$id占位符直接写在脚本的需求） #

如果要完全实现你提到的不用修改业务代码里df_bu.bu_id="$$id"的写法，可通过预渲染脚本模板实现：

• 第一步：将你的业务脚本作为模板存储在S3，保留$$id等占位符。
• 第二步：新增Glue预执行逻辑，先读取配置文件，再读取脚本模板内容，用字符串替换的方式把所有占位符替换为对应配置值，生成最终运行的脚本再执行。
  示例代码逻辑：

# 读取配置
config = json.loads(s3.get_object(Bucket="配置桶", Key="config/dev_config.json")['Body'].read())
# 读取脚本模板
template_content = s3.get_object(Bucket="脚本桶", Key="glue_script_template.py")['Body'].read().decode('utf-8')
# 替换所有占位符
for k,v in config.items():
    template_content = template_content.replace(k, f'"{v}"')
# 执行替换后的脚本
exec(template_content)

额外优化建议 #

如果参数数量较少，也可以直接用Glue原生的作业参数功能，把ID直接作为作业参数传入，不需要存S3配置文件，直接在脚本里用glueContext.getJobOptions().get("id")获取即可，维护成本更低。

内容的提问来源于stack exchange，提问作者Venu gupta