Boto3 create_job创建Glue作业报ModuleNotFoundError找不到模块
核心根因
你遇到的ModuleNotFoundError是打包结构冲突、配置参数格式错误、低版本Glue加载逻辑缺陷三个问题共同导致的,本质是对AWS Glue处理Python依赖的加载规则认知偏差。
Glue Python依赖加载的核心规则
- Glue会将
--extra-py-files指向的zip/egg/wheel格式的依赖包,自动分发到所有执行节点的本地临时目录,再将临时目录路径直接加入Python的sys.path检索序列。 - 依赖包解压后,所有压缩包第一层的文件会被直接平铺到检索路径下,不会以压缩包文件名作为顶层包名构建路径映射,所以不存在名为
test的自动生成的顶层包。 - 主入口脚本(即
ScriptLocation指向的s3脚本)会被下载到本地执行的最高优先级路径,和检索路径下的同名py文件会直接触发覆盖。
你当前配置的具体问题
- 打包结构冲突:你的test.zip内存在和主入口脚本同名的
glue.py,Glue加载时主路径下的同名脚本会覆盖依赖包内的文件,你写在依赖包glue.py里的导入逻辑实际根本不会被执行,自然触发模块找不到的报错。 - 导入逻辑错误:你尝试的
from test import example导入方式不符合Glue的加载规则,因为系统不会自动生成名为test的顶层包,这个导入语句永远找不到对应模块。 - 参数格式错误:你在
--conf的参数值里重复写入了--conf前缀,Glue解析配置时会把整串值当成第一个spark.yarn.executor.memoryOverhead配置的内容,后续的jars配置完全失效,甚至会连带影响依赖包的节点分发流程,导致worker节点上根本没有解压后的依赖文件。 - 版本适配缺陷:你使用的
GlueVersion='1.0'属于早期版本,Python 3依赖的加载逻辑存在已知bug,在存在同名文件的场景下会直接跳过整个依赖包的加载流程,根本不会把解压后的路径加入sys.path。
具体修复操作
- 调整压缩包结构:删除test.zip内和主脚本同名的glue.py,压缩包打开后第一层直接保留
__init__.py、example.py文件,不要嵌套多余的test目录,避免路径映射错误。 - 修正导入语句:直接使用
import example完成导入,不要使用基于压缩包文件名的跨层导入逻辑。 - 修正--conf参数格式:删除参数值里重复的--conf前缀,将多个Spark配置用空格分隔作为单条--conf的value值,正确写法为:
'--conf': 'spark.yarn.executor.memoryOverhead=7g spark.jars.packages=xxx' - 升级Glue运行版本:将
GlueVersion='1.0'调整为GlueVersion='3.0'及以上稳定版本,配合Command里的PythonVersion: '3'配置,确保依赖加载逻辑稳定运行。 - 验证权限与文件路径:确认Glue执行角色对test.zip所在的s3路径有
s3:GetObject权限,路径不要携带多余的空格、版本后缀,避免文件拉取失败。
常见避坑提醒
- 不要将依赖包打包为tar格式,Glue仅支持zip、egg、wheel格式的依赖自动解压加载。
- 不要在压缩包内嵌套和zip同名的顶层目录,否则会需要写全层级导入路径,增加不必要的维护成本。
- 依赖包内的py文件不要和主入口脚本重名,避免触发Python的模块优先级覆盖问题。
内容的提问来源于stack exchange,提问作者wawawa
相关产品推荐
相关产品推荐

