如何查找并恢复已删除的AWS Glue作业:误删后如何通过日志定位作业?
定位被删除的AWS Glue作业信息的查询路径
- 第一优先级查询CloudTrail事件日志:所有Glue作业删除操作都会触发
DeleteJobAPI调用,该操作会被CloudTrail全量记录(默认留存90天,配置长期跟踪的场景下留存周期可延长)。筛选事件名为DeleteJob的记录,对应事件的请求参数中会完整留存被删除作业的名称、绑定的IAM角色、ETL脚本路径、超时配置、并发规则、自定义参数、关联标签等全量信息,同时附带操作身份、操作时间点的溯源信息。 - 若CloudTrail留存周期已过,可通过S3路径定位:常规配置下Glue作业的ETL脚本存储在用户自有S3桶中,删除作业的操作不会同步删除桶内的脚本文件,结合删除操作的大致时间范围,遍历对应S3桶内的Glue脚本目录,即可匹配到对应的作业脚本。
- 补充溯源渠道:如果被删作业曾产生过运行记录,可查询CloudWatch Logs中
/aws-glue/jobs路径下的历史日志、Glue工作流的运行历史记录,这类留存数据里同样会记录历史作业的名称、运行配置、脚本位置信息,可交叉验证锁定作业对象。
作业恢复的具体操作流程
- 优先基于CloudTrail提取的原作业全量配置,通过
CreateJobAPI重建作业:逐一对齐原配置的所有参数项,包括脚本位置、权限绑定、资源配置、标签、自定义参数,避免恢复后出现运行逻辑偏差。 - 若无法从CloudTrail获取完整配置,可结合S3留存的ETL脚本、CloudWatch历史运行日志补全缺失的配置项,在Glue控制台手动新建作业,绑定对应脚本路径与权限。
- 作业重建完成后,先执行小范围的测试运行,核对脚本输出、运行权限、资源消耗与历史正式运行逻辑一致后,再恢复正式生产调度。
内容的提问来源于stack exchange,提问作者user13067694
相关产品推荐
相关产品推荐

