如何修改AWS Glue Workflow内的Glue Trigger调度无需重建整个工作流?
解决方案
可以直接编辑已有触发器的调度规则,无需重新创建整个AWS Glue Workflow。你遇到的是AWS Glue控制台的UI限制:网页端修改触发器时默认仅支持关联Glue Job的场景,关联Crawler的触发器可以通过AWS CLI或者AWS SDK完成修改,具体操作步骤如下:
- 首先导出当前触发器的完整配置作为备份
运行AWS CLI命令:aws glue get-trigger --name <你的触发器名称>
命令返回的JSON结构中包含触发器当前的调度规则、关联的Crawler动作等全部配置,将输出结果保存为本地JSON文件即可。 - 修改配置文件中的调度规则
打开保存的JSON文件,找到Schedule字段,将值修改为你需要的cron调度表达式,注意不要改动Actions字段下已有的Crawler关联配置,避免修改后触发器的触发对象偏移。 - 提交修改后的配置更新触发器
运行AWS CLI命令提交更新:aws glue update-trigger --name <你的触发器名称> --trigger-update file://<修改后的JSON文件本地路径> - 验证修改结果
操作完成后可以回到AWS Glue控制台查看触发器的调度规则是否已经更新,也可以再次运行get-trigger命令确认配置生效。
注意:如果修改前触发器处于启用状态,更新完成后会自动恢复为启用状态,若暂时不需要调度可以手动将触发器调整为禁用状态。
内容的提问来源于stack exchange,提问作者pyspark-developer
相关产品推荐
相关产品推荐

