如何创建类Change Schema的多列自定义可视化转换组件？

可以实现这类自定义可视化转换组件，核心是通过Glue的自定义转换框架，结合前端配置定义下拉选项。以下是最简实现步骤和示例：

1. 定义组件元数据（JSON配置） #

创建一个JSON文件描述组件的可视化界面，指定下拉选项的静态列表（若需动态加载可后续扩展）：

{
  "name": "CustomSchemaMapper",
  "displayName": "自定义列映射器",
  "description": "将源列映射到预定义的目标列列表",
  "inputPorts": [
    {
      "name": "input",
      "displayName": "输入数据集",
      "type": "dataset"
    }
  ],
  "outputPorts": [
    {
      "name": "output",
      "displayName": "输出数据集",
      "type": "dataset"
    }
  ],
  "parameters": [
    {
      "name": "columnMappings",
      "displayName": "列映射",
      "type": "columnMapping",
      "properties": {
        "sourceColumns": "input.columns",
        "targetColumns": [
          "user_id",
          "user_name",
          "email",
          "create_time"
        ]
      }
    }
  ]
}

这里的targetColumns就是静态下拉选项集合，后续若要从数据库动态加载，可通过Lambda函数拉取最新列名并注入该配置。

2. 编写转换逻辑（Python代码） #

创建对应的Python脚本实现列映射逻辑，和Glue原生Change Schema逻辑对齐：

def transform(ctx, dfc):
    # 获取用户配置的列映射关系
    mappings = ctx.args.get("columnMappings")
    # 转换为Glue兼容的映射格式
    glue_mappings = [(item["source"], item["target"]) for item in mappings]
    # 执行Schema转换
    transformed_df = dfc.select(*[dfc[src].alias(tgt) for src, tgt in glue_mappings])
    return [transformed_df]

3. 注册自定义组件到Glue #

将上述JSON和Python文件打包成ZIP，上传到S3，然后通过Glue控制台完成注册：

• 进入Glue控制台的自定义转换页面
• 点击添加自定义转换，填写基础信息
• 指定S3中的ZIP包路径，同时配置元数据文件和转换脚本的相对路径
• 保存后，即可在Glue Studio可视化画布中找到该组件并使用

关键扩展点 #

• 动态列列表：可将JSON配置中的targetColumns替换为Lambda函数调用，组件加载时自动拉取最新的数据库列名
• 批量适配：针对3000+数据源，可通过模板化配置快速复用组件，只需更新目标列列表即可

内容的提问来源于stack exchange，提问作者piper123