如何在已创建运行的Google Dataproc集群中安装Python包？

当然可以在Dataproc集群创建完成后安装Python包，但你直接在主节点执行pip install没生效的原因很典型：Dataproc是分布式集群架构，Spark任务会分发到所有工作节点执行，你只在主节点装包的话，工作节点根本没有这个依赖，任务自然会报错。而且就算主节点装好了，集群重启或者扩容新节点时，新节点也不会自动带上这个包。

下面是几种靠谱的解决方法：

方案一：在所有节点全局安装Python包 #

这是最直接的方式，确保集群的每个节点（主节点+所有工作节点）都安装上需要的包。你可以用gcloud命令批量执行安装：

1. 给所有工作节点安装包：

gcloud dataproc clusters ssh <你的集群名称> --worker --command 'sudo pip install xxx'

2. 给主节点单独安装包：

gcloud dataproc clusters ssh <你的集群名称> --master --command 'sudo pip install xxx'

注意：

• 要用sudo，因为默认用户可能没有全局安装权限，这样安装的包会被系统级的Python环境识别，而Spark默认使用的就是这个环境。
• 如果集群用的是Python 3，可能需要替换成pip3。

方案二：创建自定义Python环境（适合长期复用） #

如果你的任务需要一套固定的依赖环境，或者不想污染系统Python，可以用Conda创建自定义环境，然后让Spark使用这个环境：

1. 在所有节点创建Conda环境并安装包：

# 工作节点
gcloud dataproc clusters ssh <你的集群名称> --worker --command 'conda create -n my_py_env python=3.8 -y && conda activate my_py_env && pip install xxx'
# 主节点
gcloud dataproc clusters ssh <你的集群名称> --master --command 'conda create -n my_py_env python=3.8 -y && conda activate my_py_env && pip install xxx'

2. 提交Spark任务时指定这个自定义环境：

gcloud dataproc jobs submit pyspark --cluster <你的集群名称> --properties spark.pyspark.python=/opt/conda/envs/my_py_env/bin/python your_script.py

方案三：随任务分发Python包（适合临时需求） #

如果只是某个特定任务需要这个包，不想在集群节点上持久安装，可以把包打包成wheel/egg文件，上传到GCS，然后在提交任务时用--py-files参数让Spark自动分发到所有节点：

gcloud dataproc jobs submit pyspark --cluster <你的集群名称> --py-files gs://你的存储桶路径/your_package.whl your_script.py

这个方式不需要修改集群节点，任务结束后包也不会留在节点上，非常适合一次性的任务需求。

最后提醒一下：安装前最好先在节点上用python --version确认默认Python版本，确保你安装的包和Python版本兼容。

内容的提问来源于stack exchange，提问作者Pablo Brenner