Databricks平台PySpark API安装IsolationForest的最佳实践是什么？

你之前的安装方式适用于自建Spark集群，不适用于Databricks托管集群环境，出现ModuleNotFoundError是因为手动本地安装的依赖仅在单节点生效，未同步到集群所有worker节点，且你使用的2.4.0版本jar包和Spark3.1.1版本不兼容。

前置准备：版本适配 #

Spark 3.1.1需要配套使用3.0.0及以上版本的spark-iforest，禁止使用2.x版本的安装包，否则会出现类加载异常。
按照官方编译步骤提前打好两个安装包：

• 适配Spark3.1的jar包：spark-iforest-xxx.jar
• 对应的Python安装包：pyspark-iforest-xxx.tar.gz

集群级依赖安装（最佳实践） #

Databricks依赖必须通过集群库的方式安装，才能同步到所有worker节点，且重启集群后不会丢失：

1. 进入目标Spark3.1.1集群的「配置」页面，切换到「库」标签页
2. 安装Jar依赖：
   • 点击「安装新库」，选择上传类型为Jar
   • 上传提前编译好的spark-iforest-xxx.jar包，确认安装
3. 安装Python依赖：
   • 再次点击「安装新库」，选择上传类型为Python Whl/Tar.gz
   • 上传提前编译好的pyspark-iforest-xxx.tar.gz包，确认安装
4. 等待所有依赖安装完成后，重启集群生效

代码适配调整 #

Databricks环境会默认初始化全局Spark会话，禁止手动创建SparkSession、指定spark.jars配置，否则会出现冲突，调整后的示例代码如下：

from pyspark.sql import functions as F
from pyspark.ml.feature import VectorAssembler, StandardScaler
from pyspark_iforest.ml.iforest import IForest, IForestModel
import tempfile

# 直接使用Databricks全局默认的spark变量即可，无需手动初始化
df = # 替换为你的业务数据集

# 后续特征处理、模型训练、保存逻辑可正常执行
temp_path = tempfile.mkdtemp()
iforest_path = temp_path + "/iforest"
model_path = temp_path + "/iforest_model"

常见注意事项 #

• 不要在笔记本中使用!pip install命令安装pyspark-iforest，该方式仅会安装在当前Driver节点，Worker节点无法访问对应Python模块
• 无需手动配置任何Spark参数加载jar包，集群库安装的依赖会自动同步到全节点的Spark运行环境
• 若测试单节点小批量任务，也可以选择笔记本级临时安装，仅需在代码开头添加如下配置，生效范围仅限当前笔记本：

  # 仅临时测试使用，生产环境推荐集群级安装
  sc.addPyFile("/dbfs/path/to/pyspark-iforest-xxx.tar.gz")
  sc.addJar("/dbfs/path/to/spark-iforest-xxx.jar")
  

内容的提问来源于stack exchange，提问作者Mario