AWS Glue Python Shell任务是否支持Glue 2.0?如何从1.0版本升级?
核心结论先明确
AWS Glue Python Shell类型的任务不支持Glue 2.0版本,Glue 2.0是仅面向Spark类型Glue任务推出的版本,和Python Shell任务的版本体系不互通。
问题1:如何将该任务的Glue版本从1.0升级至2.0?
由于你当前的任务是Python Shell类型,不存在Glue 2.0的可用版本,因此无法完成该升级操作。
如果你需要升级Python Shell任务的运行环境,可更换更高版本的Python运行时,操作步骤如下:
- 打开AWS Glue控制台,进入「作业」列表页,找到目标任务点击进入详情
- 点击页面上的「编辑」按钮进入配置修改页
- 在「运行时配置」板块找到Python版本选项,将原有
Python 3.6替换为你需要的更高版本(如Python 3.9) - DPU配置可保持
1/16不变,核对其余配置无误后保存修改 - 试运行任务验证配置兼容性即可
如果你后续需要升级Spark类型的Glue 1.0任务到2.0版本,可按以下步骤操作:
- 进入对应Spark任务的编辑页,在Glue版本下拉选项中选择
Glue 2.0 - Supports Spark 2.4, Scala 2, Python 3- 确认任务依赖的第三方包、自定义代码兼容Spark 2.4与对应Python版本后保存配置即可完成升级
问题2:AWS Glue Python Shell类型任务是否支持Glue 2.0版本?
不支持。
Glue的版本号体系(1.0/2.0/3.0/4.0等)是针对Spark类型任务设计的,Python Shell类型任务没有对应的Glue 2.0及以上的版本标识,其运行环境迭代直接通过Python版本升级来实现。
内容的提问来源于stack exchange,提问作者Sri Vidhya Pavani
相关产品推荐
相关产品推荐

