AWS Glue自定义可视化转换支持通过Lambda传入运行时参数吗？

目前AWS Glue可视化ETL的自定义可视化转换本身不支持直接配置运行时参数入口，但可以通过两种间接方式实现你要的动态列名需求：

方法1：结合Glue作业参数 + 自定义转换代码逻辑 #

1. 先在Glue作业的配置页面添加作业参数（比如--custom_column_name），后续通过Lambda触发作业时，把目标列名作为参数值传入。
2. 修改你的自定义可视化转换对应的底层代码（Python/Scala），读取这个作业参数：
   Python示例代码：

   import sys
   from awsglue.utils import getResolvedOptions
   
   # 解析作业传入的参数
   args = getResolvedOptions(sys.argv, ['custom_column_name'])
   target_col = args['custom_column_name']
   
   # 自定义转换的核心逻辑
   def apply_transform(df, context):
       # 使用动态获取的列名添加新列
       return df.withColumn(target_col, ...) # 这里替换为你的列值生成逻辑
   

3. 保存修改后的自定义转换，在可视化ETL作业中使用它。运行时作业会自动读取传入的参数值，动态生成指定列名的新列。

方法2：Lambda动态修改自定义转换配置（进阶） #

如果需要更灵活的控制，可以让Lambda在触发作业前修改自定义转换的配置：

1. 把自定义转换的元数据（比如列名占位符的配置）以JSON格式存在S3或Glue数据目录里。
2. Lambda接收到列名参数后，修改这个JSON文件中的列名字段。
3. 触发Glue可视化ETL作业时，让作业加载修改后的自定义转换逻辑，实现动态列名。

关键提示 #

• 自定义可视化转换的可视化界面确实没有参数配置选项，所有动态参数的处理都要靠底层代码或者外部配置来实现。
• 测试阶段可以先在Glue控制台手动设置作业参数验证逻辑，没问题再切换到Lambda触发传递参数。

内容的提问来源于stack exchange，提问作者Ashish Singh