在Google Cloud Dataproc提交PySpark作业时遇minio模块找不到错误

下面是几种可靠的解决方法，按推荐优先级排序：

1. 集群初始化阶段安装依赖（最稳定） #

Dataproc的Worker节点需要在启动时就具备minio依赖，否则Spark Executor会因为找不到模块报错。你可以通过初始化动作脚本在集群创建时统一安装：

• 本地创建一个名为install_minio.sh的脚本：

#!/bin/bash
# 安装minio模块，兼容Python 3
pip3 install minio

• 将脚本上传到你的GCS存储桶，比如gs://your-bucket/scripts/install_minio.sh
• 创建集群时指定初始化动作：

gcloud dataproc clusters create your-cluster \
    --num-workers 2 \
    --initialization-actions gs://your-bucket/scripts/install_minio.sh

这样主节点和所有工作节点都会预先安装minio，后续提交PySpark作业时无需额外配置。

2. 提交作业时指定实时安装依赖（适合临时作业） #

如果不想重新创建集群，可以在提交作业时通过Spark属性，强制Driver和Executor启动时自动安装minio：

gcloud dataproc jobs submit pyspark your_script.py \
    --cluster your-cluster \
    --properties "spark.executorEnv.PIP_REQUIREMENTS=minio,spark.driverEnv.PIP_REQUIREMENTS=minio"

这个命令会在每个节点上执行pip install minio，确保依赖可用。

3. 正确使用--py-files分发依赖包 #

如果你坚持用打包的方式，注意不能直接打包虚拟环境，需要打包minio的wheel包及其依赖：

• 本地下载minio的wheel包：

pip download minio -d ./minio_deps

• 进入下载目录，打包所有wheel文件：

cd minio_deps && tar -czf minio_deps.tar.gz *.whl

• 将tar.gz上传到GCS，然后提交作业：

gcloud dataproc jobs submit pyspark your_script.py \
    --cluster your-cluster \
    --py-files gs://your-bucket/minio_deps.tar.gz

这种方式会把wheel包分发到所有节点，Spark会自动处理包的导入。

4. 配合requirements.txt的正确方式 #

单独给--py-files传requirements.txt是无效的，Spark不会自动解析安装。你需要结合初始化动作或作业属性：

• 创建requirements.txt，内容仅一行：minio
• 上传到GCS后，用以下命令提交作业：

gcloud dataproc jobs submit pyspark your_script.py \
    --cluster your-cluster \
    --properties "spark.executorEnv.PIP_REQUIREMENTS_FILE=gs://your-bucket/requirements.txt,spark.driverEnv.PIP_REQUIREMENTS_FILE=gs://your-bucket/requirements.txt"

内容的提问来源于stack exchange，提问作者mikee thanh