为PySpark创建完全隔离的Python venv及替代方案咨询

步骤1：在共享挂载目录编译安装独立Python #

venv本身依赖基础Python环境，所以先在所有节点可访问的共享目录构建一个完全独立的Python版本，彻底摆脱对节点本地Python的依赖：

1. 下载目标版本的Python源码包，上传到共享挂载目录
2. 解压源码包后进入目录，执行编译安装命令：

   ./configure --prefix=/path/to/shared/mount/python3.11 --enable-optimizations
   make -j$(nproc)
   make install
   

   这里的--prefix必须指向所有Yarn节点都能访问的挂载路径，编译完成后，该目录下会包含独立的Python解释器、标准库等完整组件。

步骤2：基于独立Python创建venv #

用共享目录里的独立Python创建虚拟环境，此时venv的软链接会指向共享目录的Python，而非节点本地版本：

/path/to/shared/mount/python3.11/bin/python -m venv /path/to/shared/mount/my_venv

激活该venv后，所有安装的依赖都会存储在共享目录的venv中，所有节点使用的是完全一致的Python环境。

步骤3：PySpark任务指定该环境 #

提交PySpark任务时，通过配置指定使用这个统一的虚拟环境：

spark-submit \
  --conf spark.pyspark.python=/path/to/shared/mount/my_venv/bin/python \
  --conf spark.pyspark.driver.python=/path/to/shared/mount/my_venv/bin/python \
  your_app.py

替代方案：用virtualenv的--copies参数 #

如果不想编译Python，可使用语法与venv几乎一致的virtualenv，通过--copies参数直接复制Python文件到虚拟环境，避免软链接依赖：

# 先在任意节点安装virtualenv（可临时用pip安装）
pip install virtualenv
# 在共享目录创建带完整Python复制的虚拟环境
virtualenv --copies /path/to/shared/mount/my_venv

此方案需确保创建环境的节点Python版本与所有集群节点的系统架构兼容（如均为x86_64）。

注意事项 #

• 编译Python时，确保执行编译的节点具备基础编译依赖（如gcc、make、zlib-devel、openssl-devel等），若节点缺少依赖，可添加--enable-shared参数进行动态编译。
• 确保共享目录权限足够，Yarn任务运行用户能读取其中的Python环境文件。

内容的提问来源于stack exchange，提问作者krezno