You need to enable JavaScript to run this app. Boto3 create_job创建Glue作业报ModuleNotFoundError找不到模块
优惠活动
大模型
产品
解决方案
定价
更多

Boto3 create_job创建Glue作业报ModuleNotFoundError找不到模块

核心根因

你遇到的ModuleNotFoundError是打包结构冲突、配置参数格式错误、低版本Glue加载逻辑缺陷三个问题共同导致的,本质是对AWS Glue处理Python依赖的加载规则认知偏差。

Glue Python依赖加载的核心规则
  • Glue会将--extra-py-files指向的zip/egg/wheel格式的依赖包,自动分发到所有执行节点的本地临时目录,再将临时目录路径直接加入Python的sys.path检索序列。
  • 依赖包解压后,所有压缩包第一层的文件会被直接平铺到检索路径下,不会以压缩包文件名作为顶层包名构建路径映射,所以不存在名为test的自动生成的顶层包。
  • 主入口脚本(即ScriptLocation指向的s3脚本)会被下载到本地执行的最高优先级路径,和检索路径下的同名py文件会直接触发覆盖。
你当前配置的具体问题
  • 打包结构冲突:你的test.zip内存在和主入口脚本同名的glue.py,Glue加载时主路径下的同名脚本会覆盖依赖包内的文件,你写在依赖包glue.py里的导入逻辑实际根本不会被执行,自然触发模块找不到的报错。
  • 导入逻辑错误:你尝试的from test import example导入方式不符合Glue的加载规则,因为系统不会自动生成名为test的顶层包,这个导入语句永远找不到对应模块。
  • 参数格式错误:你在--conf的参数值里重复写入了--conf前缀,Glue解析配置时会把整串值当成第一个spark.yarn.executor.memoryOverhead配置的内容,后续的jars配置完全失效,甚至会连带影响依赖包的节点分发流程,导致worker节点上根本没有解压后的依赖文件。
  • 版本适配缺陷:你使用的GlueVersion='1.0'属于早期版本,Python 3依赖的加载逻辑存在已知bug,在存在同名文件的场景下会直接跳过整个依赖包的加载流程,根本不会把解压后的路径加入sys.path。
具体修复操作
  • 调整压缩包结构:删除test.zip内和主脚本同名的glue.py,压缩包打开后第一层直接保留__init__.py、example.py文件,不要嵌套多余的test目录,避免路径映射错误。
  • 修正导入语句:直接使用import example完成导入,不要使用基于压缩包文件名的跨层导入逻辑。
  • 修正--conf参数格式:删除参数值里重复的--conf前缀,将多个Spark配置用空格分隔作为单条--conf的value值,正确写法为:
    '--conf': 'spark.yarn.executor.memoryOverhead=7g spark.jars.packages=xxx'
    
  • 升级Glue运行版本:将GlueVersion='1.0'调整为GlueVersion='3.0'及以上稳定版本,配合Command里的PythonVersion: '3'配置,确保依赖加载逻辑稳定运行。
  • 验证权限与文件路径:确认Glue执行角色对test.zip所在的s3路径有s3:GetObject权限,路径不要携带多余的空格、版本后缀,避免文件拉取失败。
常见避坑提醒
  • 不要将依赖包打包为tar格式,Glue仅支持zip、egg、wheel格式的依赖自动解压加载。
  • 不要在压缩包内嵌套和zip同名的顶层目录,否则会需要写全层级导入路径,增加不必要的维护成本。
  • 依赖包内的py文件不要和主入口脚本重名,避免触发Python的模块优先级覆盖问题。

内容的提问来源于stack exchange,提问作者wawawa

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 18:27:04