Databricks集群安装pandera[pyspark]与pydantic的版本兼容问题排查

问题描述 #

• 背景：基于PySpark在Databricks笔记本中构建数据管道，计划采用pandera的pyspark版本进行数据校验。
• 核心问题：在集群配置中安装PyPi最新版本的pandera[pyspark]（0.17.2）和pydantic（2.4.2）后，执行from pandera.pyspark import DataFrameSchema时触发错误：AttributeError: Module 'pydantic' has no attribute '__version__'，已知该问题在pydantic新版本中已修复。
• 异常现象：不在集群配置中预先安装，而是在笔记本单元格内执行以下命令安装相同版本后，却能正常导入DataFrameSchema并运行校验脚本：

!pip install --upgrade pydantic
!pip install pandera[pyspark]

• 疑问：为何相同版本组合在集群配置中安装会报错，在笔记本单元格安装却正常？是否存在正确的集群安装方式？

原因分析 #

1. 库加载顺序冲突：Databricks集群默认预装了旧版本的pydantic，集群配置中安装的新版pydantic可能被默认的旧版本覆盖。而笔记本单元格中使用!pip install --upgrade是在当前会话的Python环境中强制升级，优先级更高，不会被集群默认环境干扰。
2. 集群依赖解析偏差：集群配置中同时安装pandera[pyspark]和pydantic时，依赖解析逻辑可能出现偏差，导致pandera实际调用的仍是旧版本pydantic，从而触发__version__属性缺失的错误（旧版pydantic未提供该属性）。

正确的集群安装方式 #

• 方式一：按顺序安装指定版本
  在集群的「库」配置页面，先安装pydantic==2.4.2，待安装完成后再安装pandera[pyspark]==0.17.2，确保pydantic新版本先被加载，避免被集群默认的旧版本覆盖。
• 方式二：使用集群初始化脚本
  创建一个Shell脚本（例如install_validation_deps.sh），内容如下：

  #!/bin/bash
  /databricks/python/bin/pip install --upgrade pydantic==2.4.2
  /databricks/python/bin/pip install pandera[pyspark]==0.17.2
  

  将脚本上传至DBFS（比如dbfs:/databricks/scripts/install_validation_deps.sh），然后在集群配置的「高级选项」->「初始化脚本」中添加该路径，集群启动时会自动执行脚本，确保环境中安装的是指定版本的依赖，且优先级高于集群预装库。
• 方式三：配置环境变量调整库加载优先级
  在集群配置的「高级选项」->「Spark」->「环境变量」中添加：

  PYTHONPATH=/dbfs/user/lib/site-packages:/databricks/python/lib/python3.x/site-packages
  

  （将python3.x替换为集群实际使用的Python版本），让用户安装的库优先被加载，避免默认预装库的干扰。

内容的提问来源于stack exchange，提问作者Neele22