Dataproc运行PySpark作业时无法导入GCS存储桶中的Python模块

这个问题在Dataproc运行PySpark作业时很常见——本地Unix环境下能正常导入模块，但集群里就报no module named mymodule，核心原因是Dataproc的PySpark运行环境不会自动将GCS作业所在目录添加到Python的sys.path中，而本地运行时当前工作目录默认会被加入路径。下面给你几个靠谱的解决方案：

方法1：使用--py-files参数提交作业（推荐） #

PySpark提供了--py-files参数，用来指定需要分发到集群所有节点的Python依赖文件/包，这是最稳妥的方式：

方式A：直接指定单个模块文件 #

提交作业时把mymodule.py和__init__.py一起传入：

gcloud dataproc jobs submit pyspark gs://my_bucket/py_scripts/wrapper.py \
    --cluster=your-cluster-name \
    --py-files=gs://my_bucket/py_scripts/mymodule.py,gs://my_bucket/py_scripts/__init__.py

方式B：打包成ZIP文件（适合多模块场景） #

1. 把py_scripts目录下的所有文件打包成ZIP（注意保留目录结构，比如ZIP内部是py_scripts/包含三个文件）
2. 将ZIP上传到GCS的gs://my_bucket/py_scripts/module.zip
3. 提交作业时指定这个ZIP：

gcloud dataproc jobs submit pyspark gs://my_bucket/py_scripts/wrapper.py \
    --cluster=your-cluster-name \
    --py-files=gs://my_bucket/py_scripts/module.zip

这种情况下，你需要调整导入语句为：

from py_scripts import mymodule

如果打包时直接把三个文件放在ZIP根目录（不包含py_scripts文件夹），就可以保持原来的import mymodule写法。

方法2：在代码中手动添加GCS路径到sys.path #

如果你不想修改提交命令，可以在wrapper.py开头手动把GCS脚本目录加入Python路径：

import sys
from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("YourAppName").getOrCreate()

# 将GCS中的脚本目录添加到sys.path
sys.path.append("gs://my_bucket/py_scripts/")

# 现在可以正常导入模块
import mymodule

⚠️ 注意：这种方法对分布式运行的UDF（用户自定义函数）可能失效，因为UDF的执行环境可能不会自动继承路径修改，所以优先推荐方法1。

额外注意事项 #

• 务必保留空的__init__.py，Python需要它识别该目录为合法的包。
• 如果模块依赖第三方库，要确保集群节点已安装对应库，或者用--packages参数在提交作业时指定依赖。

内容的提问来源于stack exchange，提问作者Bajwa