如何为PySpark集群中的Spark Worker安装外部Python依赖？

1. 集群全局安装（长期依赖首选） #

• 直接在所有Worker节点上安装依赖包，必须确保和Spark使用的Python解释器版本一致：
  • 先检查Spark绑定的Python路径：spark-submit --version，找到输出中Python version对应的解释器路径
  • 执行安装命令（以requests为例）：

    # 系统Python环境
    sudo pip3 install requests
    # Conda环境（先激活对应环境）
    conda activate your_spark_env
    conda install requests
    

• 优点：一劳永逸，所有后续任务都能直接调用依赖；缺点：需要Worker节点操作权限，适合稳定长期的依赖需求。

2. 打包依赖并通过--py-files提交（临时任务首选） #

• 操作步骤：
  1. 本地创建依赖目录并安装requests：

     mkdir deps
     pip3 install requests -t ./deps
     

  2. 将依赖目录打包为zip文件：

     zip -r deps.zip deps/
     

  3. 提交Spark任务时指定依赖包：

     spark-submit --py-files deps.zip your_spark_script.py
     

• 原理：Spark会自动将zip包分发到所有Worker节点，并添加到Python的sys.path中，UDF执行时即可找到requests。

3. 正确使用sc.addPyFile()（代码内动态加载） #

如果之前用该方法失败，大概率是操作顺序或路径问题，正确示例如下：

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("UDFWithRequests").getOrCreate()
sc = spark.sparkContext

# 关键操作：先上传依赖包，再导入requests和定义UDF
# 集群模式下注意：deps.zip需放在Worker可访问的共享存储（如HDFS），路径改为 hdfs:///path/to/deps.zip
sc.addPyFile("deps.zip")

# 此时可安全导入requests
import requests
from pyspark.sql.functions import udf

def fetch_external_data(url):
    try:
        resp = requests.get(url, timeout=5)
        return resp.json() if resp.status_code == 200 else None
    except Exception as e:
        return str(e)

# 注册UDF
fetch_udf = udf(fetch_external_data)

# 后续DataFrame操作示例
df = spark.createDataFrame([("https://api.example.com/data",)], ["url"])
result_df = df.withColumn("response", fetch_udf(df["url"]))
result_df.show()

• 常见错误点：
  • 在addPyFile执行之后才导入requests
  • 集群模式下使用本地文件路径，导致Worker无法访问依赖包

4. 使用Conda环境（隔离性强） #

适合需要多版本依赖或复杂环境的场景（Spark 3.0+支持）：

1. 本地创建并打包Conda环境：

   conda create -n spark_env python=3.9 requests -y
   conda pack -n spark_env -o spark_env.tar.gz
   

2. 提交任务时指定环境：

   spark-submit \
       --conf spark.archives=spark_env.tar.gz#env \
       --conf spark.pyspark.python=env/bin/python \
       your_spark_script.py
   

• 原理：Spark会将Conda包分发到Worker节点，自动解压后使用环境内的Python和依赖，完全隔离系统默认环境。

内容的提问来源于stack exchange，提问作者micmia