在Databricks中导入PyDeequ库时触发IndexError问题求助

错误原因 #

PyDeequ的_get_spark_version()函数依赖执行spark-submit --version命令并解析输出获取Spark版本，但Databricks的运行环境中该命令的输出格式与PyDeequ预期的不一致，导致分割后的行列表长度不足，触发IndexError: list index out of range。你预先设置的SPARK_VERSION环境变量并未被该函数读取，因此无法覆盖自动检测逻辑。

解决方法与替代安装方案 #

方案1：手动指定Deequ坐标，绕过版本检测 #

在导入PyDeequ前，手动覆盖版本检测逻辑，避免触发错误：

1. 先执行原安装命令：

%pip install numpy==1.22
%pip install git+https://github.com/awslabs/python-deequ.git

2. 在import pydeequ前添加以下代码，手动指定适配Spark3.2的Deequ坐标：

import sys
from pydeequ.configs import SPARK_TO_DEEQU_COORD_MAPPING

# 配置Spark3.2对应的Deequ Maven坐标
SPARK_TO_DEEQU_COORD_MAPPING["3.2"] = "com.amazon.deequ:deequ:2.0.0-spark-3.2"

# 强行返回已知的Spark版本，跳过命令检测
sys.modules['pydeequ.configs']._get_spark_version = lambda: "3.2.1"

import pydeequ

方案2：通过Databricks集群库加载Deequ，再安装PyDeequ #

1. 打开目标集群的库页面，点击「安装新库」：
   • 选择「Maven」类型，输入坐标com.amazon.deequ:deequ:2.0.0-spark-3.2，完成安装
2. 在Notebook中仅安装PyDeequ（若仍有numpy冲突，再安装指定版本）：

%pip install git+https://github.com/awslabs/python-deequ.git

集群已预先加载Deequ的Scala包，PyDeequ会直接使用该包，无需自动检测版本。

方案3：使用集群初始化脚本安装 #

创建初始化脚本（例如install_pydeequ.sh），内容如下：

#!/bin/bash
pip install numpy==1.22
pip install git+https://github.com/awslabs/python-deequ.git

将脚本上传到DBFS，在集群设置中关联该初始化脚本，集群启动时会自动完成依赖安装，避免Notebook作用域安装的潜在问题。

内容的提问来源于stack exchange，提问作者Humberto Santos