SPARK-832是否已解决？Spark 2.2无需全局配置Worker节点PYTHONPATH的问询

我来逐个回应你的三个问题：

1. SPARK-832问题是否已解决？ #

SPARK-832这个问题已经被完全解决了，早在Spark 1.6.x版本就完成了修复，所以Spark 2.2版本肯定包含这个修复。这个问题最初是Python Worker进程无法正确继承Driver端的PYTHONPATH环境变量，导致自定义模块无法被executor识别，现在这个问题已经不存在了。

2. Spark 2.2中Worker节点非全局配置PYTHONPATH的方法 #

因为你不能做全局修改（比如修改.profile/.bashrc或在每个节点分发配置），推荐通过Spark的executor环境变量配置来实现，这也是社区常用的方案，对应你提到的"Pyspark append executor environment variable"相关内容：

• 提交作业时通过命令行参数指定：
  在spark-submit命令中添加--conf参数直接设置executor的PYTHONPATH，这样只会对当前作业生效，不会影响集群其他作业：

  spark-submit \
    --conf spark.executorEnv.PYTHONPATH="/path/to/your/custom/modules:$PYTHONPATH" \
    your_spark_script.py
  

  注意加上$PYTHONPATH是为了保留executor原本的PYTHONPATH内容，避免完全覆盖。

• 在代码中动态配置：
  初始化SparkSession的时候，通过config方法设置该参数，同样只对当前应用生效：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("YourApplication") \
      .config("spark.executorEnv.PYTHONPATH", "/path/to/your/custom/modules:$PYTHONPATH") \
      .getOrCreate()
  

• 通过spark-defaults.conf配置：
  在你的提交节点的SPARK_HOME/conf/spark-defaults.conf文件中添加一行配置：

  spark.executorEnv.PYTHONPATH /path/to/your/custom/modules:$PYTHONPATH
  

  这个配置会被Spark自动加载，而且不需要在每个Worker节点修改文件——因为Spark会将该配置传递给所有executor进程，同样属于非全局修改的范畴。

3. SPARK_HOME/conf目录下的配置文件是否会被加载？ #

这个说法是完全正确的。Spark启动时会优先读取SPARK_HOME/conf目录下的配置文件，包括spark-defaults.conf（默认配置）、spark-env.sh（环境变量）、log4j.properties（日志配置）等。这些配置的优先级高于Spark的内置默认值，而且大部分作业相关的配置（比如executor环境变量、资源分配参数）只要在提交节点的SPARK_HOME/conf中设置，就会被传递给集群中的executor，不需要在每个Worker节点重复配置。

内容的提问来源于stack exchange，提问作者safetyduck