完全可以通过配置Worker的相关路径来避免重复传输大体积依赖，这是优化Spark集群依赖管理的常用方案，针对你提到的三个路径，具体配置方法如下：

1. 指定Worker的Python解释器路径 #

如果你的Worker节点已经安装了包含TensorFlow、Keras等依赖的Python环境，直接通过Spark配置指定该解释器路径即可，不用再打包分发环境：

• 提交脚本时临时配置：在spark-submit命令中添加--conf参数：

  spark-submit --conf spark.pyspark.python=/path/to/your/venv/bin/python your_script_A.py
  

  这里的/path/to/your/venv/bin/python是Worker节点上已经配置好依赖的Python解释器路径（比如虚拟环境的Python）。
• 全局持久化配置：如果所有Worker都使用相同的Python环境，可以在Spark的spark-defaults.conf文件中添加：

  spark.pyspark.python /path/to/your/venv/bin/python
  

  这样后续提交脚本时无需重复指定。

注意：spark.pyspark.driver.python是配置Driver端的Python解释器，Worker端用的是spark.pyspark.python，别搞混了。

2. 设置Python库路径 #

如果你的依赖库（比如TensorFlow、Keras）已经安装在Worker节点的非默认路径下，或者需要加载自定义脚本B所在的目录，可以通过配置Executor的PYTHONPATH来让Python找到这些资源：

• 提交时配置：在spark-submit中添加环境变量配置：

  spark-submit --conf spark.executorEnv.PYTHONPATH="/path/to/custom/libs:/path/to/script_B_dir:$PYTHONPATH" your_script_A.py
  

  • /path/to/custom/libs是存放额外Python库的目录（比如自定义的site-packages）
  • /path/to/script_B_dir是脚本B所在的目录，这样Worker就能直接import B而无需通过--py-files传输脚本B
• 全局配置：同样可以在spark-defaults.conf中添加：

  spark.executorEnv.PYTHONPATH /path/to/custom/libs:/path/to/script_B_dir:$PYTHONPATH
  

3. 配置依赖文件路径（如字典文件） #

对于字典这类静态依赖文件，最优方案是提前将文件同步到所有Worker节点的相同绝对路径下（比如用Ansible、集群文件同步工具，或者挂载共享存储如NFS），然后在脚本B中直接使用该路径读取文件。如果需要更灵活的配置，可以通过环境变量传递路径：

• 设置Executor环境变量：

  spark-submit --conf spark.executorEnv.DICT_FILE_PATH="/path/to/your/dict/file.txt" your_script_A.py
  

• 在脚本B中读取路径：

  import os
  dict_path = os.environ.get("DICT_FILE_PATH")
  # 读取字典文件
  with open(dict_path, 'r') as f:
      vocab_dict = eval(f.read())
  

关键注意事项 #

• 确保所有Worker节点的路径完全一致，否则会出现部分节点找不到资源的错误；
• 新加入集群的Worker节点需要同步配置好所有指定路径下的资源；
• 可以在Executor中打印调试信息验证配置是否生效，比如在脚本中添加：

  import sys
  import os
  print(f"Worker Python路径: {sys.executable}")
  print(f"Worker PYTHONPATH: {sys.path}")
  print(f"字典文件路径: {os.environ.get('DICT_FILE_PATH')}")
  

  这些信息会出现在Worker的日志中，方便排查问题。

内容的提问来源于stack exchange，提问作者Leslie Underhill