如何在PySpark中安装外部Python库？以fuzzywuzzy为例

根据PySpark运行环境的不同，安装方式分为以下几种：

1. 本地单机PySpark环境 #

直接在当前Python环境中用pip安装即可，fuzzywuzzy依赖的python-Levenshtein是可选组件，但能大幅提升Levenshtein距离计算的性能，建议一起安装：

pip install fuzzywuzzy python-Levenshtein

2. Spark集群环境（YARN/Standalone等） #

方法一：集群节点预安装 #

在集群的所有Worker节点上执行pip安装命令，确保每个节点的Python环境都包含该模块：

pip install fuzzywuzzy python-Levenshtein

这种方式适合长期需要使用该模块的场景，后续提交作业无需额外配置。

方法二：提交作业时携带依赖包 #

如果无法在集群节点上预安装，可以将依赖包打包后随作业一起提交：

1. 下载fuzzywuzzy及其依赖包到本地目录：

pip download fuzzywuzzy python-Levenshtein -d ./spark_deps

2. 将下载的包打包成zip文件：

zip -r fuzzy_deps.zip ./spark_deps

3. 提交Spark作业时通过--py-files参数指定依赖包：

spark-submit --py-files fuzzy_deps.zip your_spark_job.py

方法三：使用虚拟环境打包 #

如果依赖复杂，可创建包含fuzzywuzzy的Python虚拟环境，打包后提交：

1. 创建并激活虚拟环境：

python -m venv fuzzy_env
source fuzzy_env/bin/activate  # Linux/macOS
# fuzzy_env\Scripts\activate  # Windows
pip install fuzzywuzzy python-Levenshtein
deactivate

2. 打包虚拟环境：

tar -czf fuzzy_env.tar.gz fuzzy_env

3. 提交作业时通过--archives参数挂载虚拟环境，并在代码中指定依赖路径：

spark-submit --archives fuzzy_env.tar.gz#fuzzy_env your_spark_job.py

在你的PySpark代码开头添加：

import sys
sys.path.insert(0, "./fuzzy_env/lib/python3.x/site-packages")  # 替换为实际Python版本

3. PySpark Shell临时加载 #

如果需要在交互式Shell中使用fuzzywuzzy，启动Shell时携带依赖包即可：

pyspark --py-files fuzzy_deps.zip

内容的提问来源于stack exchange，提问作者Jeremy Sapienza