PySpark在EMR集群提交--py-files后导入依赖模块出现No Module Error

我来帮你搞定这个模块导入报错的问题，咱们一步步排查修复：

1. 先检查pack.zip的结构是否正确 #

这是最常见的问题根源——打包方式不对导致模块路径不匹配。你可以用以下命令查看zip包内的目录结构：

unzip -l pack.zip

正确的输出应该是这样的（必须包含dependencies/前缀）：

Archive:  pack.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  2024-05-20 10:00   dependencies/__init__.py
     1234  2024-05-20 10:00   dependencies/common.py
     5678  2024-05-20 10:00   dependencies/load.py
---------                     -------
     6912                     3 files

如果你的输出里没有dependencies/前缀，说明你是进入dependencies文件夹后打的包，这种情况下zip里直接是三个py文件，没有外层的dependencies目录，自然会导致导入失败。

2. 重新打包（如果结构错误） #

回到和dependencies、src同级的目录（也就是包含这两个文件夹的上级目录），执行以下命令重新打包：

zip -r pack.zip dependencies/

-r参数会递归打包整个dependencies文件夹，确保zip的根目录就是dependencies包，这样Spark加载后就能识别到这个包了。

3. 确认导入语句的正确性 #

如果zip结构是正确的（包含dependencies文件夹），那你原来的导入语句是没问题的：

from dependencies.common import some_function
from dependencies.load import some_function

要是之前打包错误（zip里直接是三个py文件），那就要修改导入语句，去掉dependencies.前缀：

from common import some_function
from load import some_function

不过更推荐第一种正确打包的方式，保持包结构清晰，避免后续模块扩展时出现路径混乱。

4. 调试路径问题（如果还是报错） #

如果前面的步骤都做了还是报错，可以在driver.py的最开头添加一段调试代码，查看Python的路径和zip内容，帮助定位问题：

import sys
import zipfile

# 打印当前Python的搜索路径
print("当前sys.path内容：")
for path in sys.path:
    print(f"- {path}")

# 查找并打印pack.zip内的文件列表
for path in sys.path:
    if "pack.zip" in path:
        try:
            with zipfile.ZipFile(path, 'r') as zf:
                print("\npack.zip内的文件：")
                for name in zf.namelist():
                    print(f"- {name}")
        except Exception as e:
            print(f"读取zip文件出错：{e}")
        break

提交任务后查看Spark日志，确认pack.zip是否在sys.path中，以及里面的结构是否符合预期。

额外注意事项 #

• 确保EMR集群使用的Python版本和本地开发环境一致，避免版本差异导致的模块兼容问题；
• 如果dependencies文件夹后续添加子模块，记得给每个子文件夹都添加空的__init__.py文件，标记为Python包；
• 提交任务时要注意路径正确性，比如pack.zip和src在同一目录的话，命令应该是：

  spark-submit --py-files pack.zip src/driver.py
  

这样应该就能顺利加载common和load模块了！

内容的提问来源于stack exchange，提问作者MARTHA VIJAY KUMAR