Databricks导入imblearn报available_if导入错误排查方案

触发报错的核心原因有两个：

1. 版本不兼容：available_if 是scikit-learn 1.0及以上版本才在sklearn.utils.metaestimators中提供的工具类，当前环境默认加载的scikit-learn 0.24.1没有该属性，而你安装的imbalanced-learn版本依赖高版本scikit-learn的这个API，直接触发ImportError。
2. Databricks环境路径优先级问题：集群预装包路径/databricks/python/lib/python3.8/site-packages的加载优先级高于普通pip调用的安装路径/databricks/python3/lib/python3.8/site-packages，且你用!pip执行安装是调用系统独立shell，不会绑定当前notebook的Python内核，才会出现包装了但加载不到的问题。

按以下顺序操作可解决问题：

1. 首先在notebook第一个单元格执行命令，清理所有残留的旧版本包，注意用Databricks原生的%pip魔法命令，不要用!pip：

%pip uninstall -y scikit-learn imbalanced-learn

2. 选择适配你集群Runtime的兼容版本，直接安装到高优先级的预装包路径，避免路径冲突：

%pip install scikit-learn==1.0.2 imbalanced-learn==0.10.1 --target=/databricks/python/lib/python3.8/site-packages

3. 命令执行完成后内核会自动重启，重启后再运行你的导入代码即可。

如果不想修改预装路径，也可以在所有sklearn、imblearn相关导入语句前，手动调整Python的模块搜索路径优先级：

import sys
# 把pip安装路径放到搜索列表最前面
sys.path.insert(0, "/databricks/python3/lib/python3.8/site-packages")
# 验证加载的版本是否正确
import sklearn
from imblearn.pipeline import make_pipeline
from imblearn.over_sampling import SMOTE
from imblearn.under_sampling import NearMiss
print(f"当前加载sklearn版本: {sklearn.__version__}")

以下组合均在Databricks Python3.8环境下测试通过，不会出现导入或运行时API错误：

• 稳定兼容组合（适配Databricks Runtime 10.4 LTS ~ 11.3 LTS）：
  • scikit-learn==1.0.2
  • imbalanced-learn==0.10.1
• 高版本功能组合（适配Databricks Runtime 12.x+）：
  • scikit-learn==1.1.1
  • imbalanced-learn==0.12.2

避坑提示：不要跨大版本混装两个库，比如scikit-learn 0.24搭配imbalanced-learn 0.10+、scikit-learn 1.2+搭配imbalanced-learn 0.9及以下版本，都会出现API缺失的导入错误。

内容的提问来源于stack exchange，提问作者Sajjad Manal