Spark 2.3.0 EMR集群PYSPARK_PYTHON报文件不存在错误求助

你遇到的这个java.io.IOException: Cannot run program "./venv/bin/python"错误，确实是Spark 2.3在YARN模式下调整了PYSPARK_PYTHON和--archives的交互逻辑导致的，和Spark 2.2的行为有明显差异。我帮你梳理下关键变化和可行的修复方案：

核心行为变化点 #

1. PYSPARK_PYTHON路径解析逻辑变了 #

在Spark 2.2的YARN client模式中，你设置的PYSPARK_PYTHON=./venv/bin/python会被executor基于自身工作目录解析——因为--archives venv.zip#venv已经把虚拟环境解压到了这个目录下，所以能正常找到。

但Spark 2.3开始，YARN client模式下，PYSPARK_PYTHON的相对路径默认会被解析为提交任务的客户端机器本地路径，而不是executor的工作目录。这就导致executor去自己的本地系统找./venv/bin/python，自然找不到你挂载的虚拟环境。

2. --archives与环境变量的绑定更严格 #

Spark 2.3对YARN环境下的变量传递做了隔离优化，不再默认把客户端的PYSPARK_PYTHON路径映射到executor的工作目录，必须明确指定executor端的路径规则。

快速修复方案 #

针对你的场景，有三种靠谱的调整方式：

方式一：用{{PWD}}占位符指定executor工作目录 #

Spark提供了{{PWD}}这个特殊占位符，它会在executor启动时自动替换为当前工作目录。把PYSPARK_PYTHON改成这个路径即可：

PYSPARK_PYTHON={{PWD}}/venv/bin/python PYSPARK_DRIVER_PYTHON=python $SPARK_HOME/bin/spark-submit --py-files=dist/project_main-1.0.0-py2.7.egg --master=yarn --deploy-mode=client --archives=venv.zip#venv --packages org.apache.derby:derbytools:10.14.1.0,org.apache.derby:derbyclient:10.14.1.0,com.github.databricks:spark-avro:204864b6cf,com.databricks:spark-redshift_2.11:3.0.0-preview1,com.databricks:spark-csv_2.11:1.5.0,com.amazon.redshift:redshift-jdbc42:1.2.12.1017 --repositories https://jitpack.io,http://redshift-maven-repository.s3-website-us-east-1.amazonaws.com/release --executor-memory 4g project_main/main.py

方式二：通过spark.executorEnv明确指定executor端变量 #

你可以在spark-submit命令中用--conf参数，把PYSPARK_PYTHON设置为executor环境的变量，这样路径会基于executor工作目录解析：

PYSPARK_DRIVER_PYTHON=python $SPARK_HOME/bin/spark-submit --conf spark.executorEnv.PYSPARK_PYTHON=./venv/bin/python --py-files=dist/project_main-1.0.0-py2.7.egg --master=yarn --deploy-mode=client --archives=venv.zip#venv --packages org.apache.derby:derbytools:10.14.1.0,org.apache.derby:derbyclient:10.14.1.0,com.github.databricks:spark-avro:204864b6cf,com.databricks:spark-redshift_2.11:3.0.0-preview1,com.databricks:spark-csv_2.11:1.5.0,com.amazon.redshift:redshift-jdbc42:1.2.12.1017 --repositories https://jitpack.io,http://redshift-maven-repository.s3-website-us-east-1.amazonaws.com/release --executor-memory 4g project_main/main.py

这种方式相当于把变量直接传递给executor，避开客户端路径的干扰。

方式三：挂载虚拟环境到绝对路径 #

如果上述两种方式都不适用，你可以把虚拟环境挂载到executor节点的固定绝对路径（确保节点有读写权限），比如：

--archives venv.zip#/tmp/venv

然后设置PYSPARK_PYTHON=/tmp/venv/bin/python，用绝对路径直接定位，就不会有解析问题了。

额外说明 #

• PYSPARK_DRIVER_PYTHON在2.2到2.3之间没有行为变化，你设置为python是正确的——因为driver运行在客户端机器上，能直接找到本地的Python解释器。
• 你已经确认虚拟环境是可迁移模式（比如用virtualenv --always-copy创建），这一点很重要，避免了软链接依赖本地系统的问题，不需要调整。

内容的提问来源于stack exchange，提问作者Jarrel Biscocho