Azure Data Factory部署新Job Cluster时外部库安装失败求助

核心问题定位 #

错误明确指向dbfs:/FileStore/jars/ephem-4.1.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl文件不存在，导致驱动节点库安装失败，错误代码为DRIVER_LIBRARY_INSTALLATION_FAILURE。

分步解决步骤 #

• 验证DBFS文件路径与存在性
  登录Databricks工作区，进入「数据」面板导航到dbfs:/FileStore/jars/路径，确认目标whl文件是否存在。注意Linux环境路径和文件名区分大小写，检查拼写、版本号、后缀是否完全匹配。若文件缺失，重新上传至指定路径。

• 检查ADF身份的DBFS权限
  确保ADF使用的服务主体/托管标识拥有dbfs:/FileStore/jars/路径的可读权限。可通过Databricks CLI验证：

  databricks fs ls dbfs:/FileStore/jars/
  

  若无法访问，需在Databricks中给对应身份分配路径权限。

• 修正ADF Append Libraries配置
  确认ADF中填写的库路径为完整格式dbfs:/FileStore/jars/ephem-4.1.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl，不要遗漏dbfs:前缀。

• 验证Python版本兼容性
  检查whl文件名中的cp38标识，确认Job Cluster使用的Python运行时版本为3.8（或兼容版本）。若集群Python版本不符，需下载对应版本的whl文件替换。

• 手动测试库安装
  启动同配置的Job Cluster，在Notebook中手动执行安装命令验证：

  !pip install dbfs:/FileStore/jars/ephem-4.1.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
  

  若手动安装失败，说明问题出在文件本身或集群环境，而非ADF配置。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth