Spark使用不同版本的Python

为不同版本的 Python 分别配置环境，并将正确的环境路径添加到 Spark 的配置中。

例如，如果我们需要在 Spark 中使用 Python 2 和 Python 3，可以按如下步骤进行配置：

1. 在系统中安装好 Python 2 和 Python 3。

2. 确认安装的 Python 版本和路径：

$ python2 --version
Python 2.7.16

$ python2 -c "import sys; print(sys.prefix)"
/usr

$ python3 --version
Python 3.8.5

$ python3 -c "import sys; print(sys.prefix)"
/usr/local

3. 修改 Spark 的配置文件（conf/spark-env.sh），设置 PYSPARK_PYTHON 环境变量，将其分别指向 Python 2 和 Python 3 的解释器路径。例如：

export PYSPARK_PYTHON=/usr/bin/python2
export PYSPARK3_PYTHON=/usr/local/bin/python3

4. 使用 spark-submit 提交任务时，需要将版本对应的代码和环境路径一起指定。例如：

$ spark-submit --master local \
    --conf "spark.pyspark.python=/usr/bin/python2" \
    python2_script.py

$ spark-submit --master local \
    --conf "spark.pyspark.python=/usr/local/bin/python3" \
    python3_script.py

这样就可以在 Spark 中同时使用不同版本的 Python 了。