如何更新AWS Glue爬虫的调度时间?
如何更新AWS Glue爬虫的调度时间?
你混淆了start_crawler_schedule的作用——它仅用于将爬虫的调度状态切换为SCHEDULED,不支持修改调度时间表达式。要更新爬虫的调度规则,正确的方式是使用update_crawler API。
具体操作方法
调用update_crawler时传入爬虫名称和新的调度表达式即可:
import boto3 # 初始化Glue客户端 glue_client = boto3.client('glue') # 更新爬虫调度 glue_client.update_crawler( Name='你的爬虫名称', Schedule='cron(0 2 * * ? *)' # 替换为目标UTC时区的cron表达式 )
注意事项
- AWS Glue的调度表达式采用UTC时区,格式为
cron(分钟 小时 日 月 星期 年) - 若爬虫当前正在运行,调度更新需等待运行结束后才会生效
- 更新完成后,爬虫会自动按照新的调度规则执行,无需额外调用
start_crawler_schedule(除非之前调度状态是停止的)
内容的提问来源于stack exchange,提问作者monte
相关产品推荐
相关产品推荐

