使用spark-submit提交Spark集群Python应用，如何规范安装依赖？

嘿，这个问题我在日常运维Spark作业时碰到好多次了，结合社区最佳实践和实际踩坑经验，给你整理几个靠谱的方案，都能帮你确保提交的Python应用依赖在集群上正常生效：

1. 用--py-files打包轻量依赖（适合小依赖场景） #

如果你的依赖不多（比如几个小型库），最直接的方式就是把virtualenv里的依赖打包成zip包，通过Spark的--py-files参数分发到所有Executor节点：

• 步骤：
  1. 进入你的virtualenv的site-packages目录（一般路径是your_venv/lib/pythonX.X/site-packages）
  2. 打包依赖，注意排除缓存文件：zip -r dependencies.zip . -x "*/__pycache__/*"
  3. 提交作业时带上这个包：spark-submit --py-files dependencies.zip your_python_app.py
• 优势：操作简单，无需修改集群配置；
• 局限：依赖体积大时（比如pandas、scikit-learn这种），zip包会很大，分发效率低，还可能占用较多Executor磁盘空间。

2. 集群节点预安装依赖（适合长期稳定作业） #

如果你的作业是长期运行的固定任务，直接在所有Spark Worker节点上预安装依赖是最高效的方式：

• 步骤：
  1. 把本地生成的requirements.txt同步到每个Worker节点
  2. 用pip安装依赖，注意要和开发环境用相同的Python版本：pip install -r requirements.txt
  3. 确保Spark的Python环境变量（PYSPARK_PYTHON）指向你安装依赖的Python解释器
• 小技巧：用Ansible、SaltStack这类自动化工具批量安装，避免手动操作出错
• 优势：作业提交速度快，没有依赖包分发的额外开销；
• 局限：依赖更新时需要重新在所有节点执行安装，灵活性较差，适合依赖变动少的场景。

3. 用conda-pack打包完整虚拟环境（适合复杂依赖场景） #

如果你的依赖组合很复杂（比如存在版本冲突、需要特定编译的库），conda-pack可以帮你把整个虚拟环境完整打包，在Executor上直接解压使用：

• 步骤：
  1. 先安装conda-pack：pip install conda-pack
  2. 激活你的virtualenv/conda环境，然后打包：conda pack -n your_env_name -o env.tar.gz（如果是virtualenv，直接在激活状态下执行conda pack -o env.tar.gz即可）
  3. 提交作业时用--archives参数指定包，同时给包起个别名：spark-submit --archives env.tar.gz#venv your_python_app.py
  4. 在你的Python代码开头添加路径配置，让Executor使用打包的环境：

     import sys
     # 替换X.X为你的Python版本，比如3.8
     sys.path.insert(0, "./venv/lib/pythonX.X/site-packages")
     

• 注意：开发环境和集群的操作系统要一致（比如都是Linux），不然打包的环境会出现兼容性问题
• 优势：完美复刻开发环境，彻底解决依赖版本冲突问题；
• 局限：打包后的环境体积较大，分发时会消耗一些网络资源。

4. 自定义Executor启动脚本（适合动态依赖场景） #

如果你的作业依赖需要动态调整，或者集群有特殊的网络限制，可以自定义Executor的启动脚本，在Executor启动时自动安装依赖：

• 步骤：
  1. 编写一个启动脚本install_deps.sh，内容如下：

     # 假设依赖包已上传到集群的共享存储路径
     pip install --no-index --find-links=/path/to/local/dependencies -r requirements.txt
     

  2. 提交作业时通过Spark配置指定启动脚本：

     spark-submit \
       --conf spark.executorEnv.PYSPARK_PYTHON=python3 \
       --conf spark.executor.extraFiles=install_deps.sh,requirements.txt \
       --conf spark.executor.startHook=./install_deps.sh \
       your_python_app.py
     

• 注意：如果集群不能联网，要提前把所有依赖包下载到共享存储路径，用本地安装的方式避免网络问题
• 优势：灵活性高，适合依赖经常变动的场景；
• 局限：Executor启动时会额外消耗时间安装依赖，可能影响作业启动速度。

总结一下 #

• 临时/小型作业：优先选--py-files打包依赖；
• 长期稳定作业：集群节点预安装依赖效率最高；
• 复杂依赖场景：用conda-pack打包完整虚拟环境最稳妥；
• 动态依赖场景：自定义Executor启动脚本更灵活。

内容的提问来源于stack exchange，提问作者clstaudt