如何在AWS中为多输入源传递Glue注解以支持多输入场景
AWS Glue 多输入示意图注解配置方案
你之前使用单frame字段加逗号分隔多值的写法不符合 Glue 注解的解析规则,因此无法生成示意图,正确配置方式如下:
配置规则
在@inputs注解中为每个上游输入单独声明键值对,键名可自定义,值为对应上游节点的@return配置值,多个键值对之间用逗号分隔即可。
示例配置
以下是需要同时接入两个上游转换节点的Join节点配置示例:
## @type: Join ## @args: [keys1 = ["taxi_id"], keys2 = ["taxi_id"], transformation_ctx = "join1"] ## @return: join1 ## @inputs: [frame1 = applymapping1, frame2 = applymapping2]
上述配置会在 Glue 控制台示意图中自动生成两条独立边,分别从applymapping1、applymapping2指向当前join1节点。
注意事项
- 所有填写的上游节点返回值必须和对应上游节点的
@return配置完全一致,大小写敏感 - 不要使用单
frame键加逗号分隔多值的写法,该写法会导致注解解析失败,无法生成示意图 - 单节点输入数量没有公开的硬限制,实际测试10个以内输入都可以正常生成示意图
内容的提问来源于stack exchange,提问作者gunish jha
相关产品推荐
相关产品推荐

