Databricks连接SQL Server偶发ODBC Driver 17文件未找到错误求助

可能的原因 #

• 驱动路径/权限间歇性失效：集群worker节点的LD_LIBRARY_PATH环境变量可能因节点重启、资源调度变更未正确加载，或者驱动文件权限被意外修改，导致进程找不到驱动文件。
• 集群动态扩缩容遗漏：自动扩缩容时新启动的worker节点没预安装ODBC Driver 17 for SQL Server，只有任务调度到这些节点时才会报错。
• 驱动文件损坏/丢失：部分节点的驱动文件因磁盘IO异常、文件系统问题间歇性损坏，任务跑在这些节点就触发错误。
• ODBC配置不一致：不同节点的odbcinst.ini配置有差异，部分节点没正确配置驱动路径，导致任务执行失败。

解决方案 #

1. 强制所有节点自动安装驱动 #

把驱动安装命令加到集群初始化脚本里，确保每个节点启动时都自动完成安装：

# 安装依赖工具
sudo apt-get update && sudo apt-get install -y unixodbc unixodbc-dev
# 添加微软源并安装ODBC Driver 17
sudo curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
sudo curl https://packages.microsoft.com/config/ubuntu/20.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get install -y msodbcsql17

注意要把这个脚本设置为集群启动时自动执行，避免手动操作遗漏。

2. 验证驱动路径与环境变量 #

在节点上执行以下命令确认驱动状态：

# 查看ODBC配置信息，确认驱动路径
odbcinst -j
# 检查驱动文件是否存在且权限正常
ls -l /opt/microsoft/msodbcsql17/lib64/libmsodbcsql-17.*.so

把驱动路径加到全局环境变量，可在初始化脚本里追加：

echo "export LD_LIBRARY_PATH=/opt/microsoft/msodbcsql17/lib64:\$LD_LIBRARY_PATH" >> /etc/profile
source /etc/profile

3. 统一所有节点的ODBC配置 #

在初始化脚本中覆盖odbcinst.ini，确保所有节点配置一致：

sudo cat << EOF > /etc/odbcinst.ini
[ODBC Driver 17 for SQL Server]
Description=Microsoft ODBC Driver 17 for SQL Server
Driver=/opt/microsoft/msodbcsql17/lib64/libmsodbcsql-17.*.so
UsageCount=1
EOF

4. 排查扩缩容配置问题 #

• 检查集群自动扩缩容规则，确保新节点使用和现有节点相同的镜像或初始化脚本，避免遗漏驱动安装。
• 扩缩容后手动验证新节点的驱动安装状态，确认没问题再跑任务。

5. 监控磁盘健康状态 #

定期检查节点磁盘的IO状态和文件系统完整性，排查是否存在磁盘故障，必要时更换异常节点。

内容的提问来源于stack exchange，提问作者Sivaani N