Spark Standalone集群中配置spark-submit使用Pipenv虚拟环境

我来帮你梳理下这个问题——用pipenv虚拟环境跑Spark Standalone任务的思路是对的，但你当前的打包和提交方式有几个关键问题，导致环境没法在执行器上正常工作。下面我拆解问题，再给出两种可行的方案：

• 直接打包整个.venv包含了本地机器专属的Python二进制文件：这个文件和你的本地系统架构、操作系统绑定（比如本地是Mac x86，集群是Linux ARM），到了执行器节点根本跑不起来。
• --py-files的定位是分发Python脚本/模块，不是整个虚拟环境：Spark只会把这个zip传到执行器的工作目录，但不会自动把它设为执行器的默认Python环境，也不会调整Python路径，执行器还是会用系统默认的Python，自然找不到你的依赖。
• 没指定执行器的Python路径：你只设置了PYSPARK_DRIVER_PYTHON（驱动用的Python），但执行器默认用系统Python，和驱动环境不一致会引发各种依赖或版本错误。

方案一：在所有集群节点预安装相同虚拟环境（最稳定推荐） #

因为Spark Standalone集群的节点都是可控的，这是最不容易出问题的方式：

1. 把你的Pipfile和Pipfile.lock同步到所有Worker节点的相同路径下
2. 在每个Worker节点执行命令，创建完全一致的虚拟环境：

   pipenv install --deploy --ignore-pipfile
   

   --deploy参数会严格按照Pipfile.lock安装，保证所有节点的依赖版本完全一致。
3. 提交任务时，同时指定驱动和执行器的Python路径：

   PYSPARK_DRIVER_PYTHON=/path/to/your/.venv/bin/python \
   PYSPARK_PYTHON=/path/to/your/.venv/bin/python \
   spark-submit src/app.py
   

   这里的路径要替换成Worker节点上虚拟环境的实际路径，确保所有节点路径一致。

方案二：仅打包依赖，动态注入执行器环境（适合无法预安装的场景） #

如果没法在每个节点部署虚拟环境，你可以只打包依赖包，前提是所有Worker节点的Python版本和你本地虚拟环境的Python版本完全相同：

1. 找到虚拟环境里的site-packages目录，单独打包：

   # 替换X.X为你的Python版本，比如3.9
   cd .venv/lib/pythonX.X/site-packages/
   zip -r ../../../../site-packages.zip .
   

2. 提交任务时，通过配置让执行器把解压后的依赖加到Python路径，同时指定执行器的Python：

   PYSPARK_DRIVER_PYTHON=./.venv/bin/python \
   # 替换为Worker节点上和你本地版本一致的Python路径
   PYSPARK_PYTHON=/usr/bin/python3.X \
   spark-submit \
     --conf spark.executorEnv.PYTHONPATH=./site-packages.zip \
     --py-files site-packages.zip \
     src/app.py
   

   这个方案的核心是让执行器用自己节点上同版本的Python，再把你的依赖包加到它的路径里，避免了Python二进制文件不兼容的问题。

内容的提问来源于stack exchange，提问作者Konchshell