AWS Glue可视化作业报错：pyWriteDynamicFrame重复指定DB连接属性

错误：pyWriteDynamicFrame. Connection property specified more than once: DB 排查思路 #

• 检查Glue连接配置：即使脚本里没显式写Snowflake的DB参数，可视化作业可能自动关联了Glue Data Catalog中的Snowflake连接，该连接属性可能重复设置了DB字段。前往Glue控制台的连接模块，找到对应Snowflake连接，查看属性是否存在重复的DB键值对，删除重复项即可。
• 检查目标节点配置：可视化作业的写入节点（如Snowflake目标），可能同时在节点配置里指定了DB参数，又继承了连接的DB参数，导致冲突。进入作业可视化编辑界面，点击目标节点，查看“连接选项”是否额外设置了DB，若有则删除，改用连接中配置的DB。
• 查看自动生成脚本细节：可视化作业会自动生成Python脚本，可能在write_dynamic_frame方法的connection_options中存在重复的DB参数。点击作业的“脚本”标签，搜索connection_options，检查是否有两次DB定义，删除重复的那一项。
• 检查作业参数：作业的自定义参数（如“作业参数”栏下的配置）是否传递了重复的DB相关参数，部分参数可能会被解析到连接属性中引发冲突。

关于AWS Glue UI的体验 #

SSIS经过近20年的迭代，可视化界面的成熟度和易用性确实做得很好。Glue的可视化界面确实偏简陋，更像是为快速生成基础脚本设计的，而非复杂ETL流程的可视化编排。AWS并非没资源做更好的UI，只是Glue的核心定位是结合Serverless和Data Catalog的批处理/流处理工具，可视化工具可能不是其优先级最高的方向，很多复杂场景下用户会选择代码模式或者结合Apache Airflow等第三方工具来做编排。

内容的提问来源于stack exchange，提问作者J Brun