使用Libraries API在运行时安装作业集群whl库失败求助

你遇到的DRIVER_LIBRARY_INSTALLATION_FAILURE错误，根源是集群无法通过fs.azure.account.key的配置值验证ADLS Gen2存储的访问权限，导致无法读取指定路径下的whl包。

• 核对存储账户密钥配置

  1. 打开目标作业集群的配置页面，进入Spark标签页的高级选项 > Spark配置
  2. 找到fs.azure.account.key.prod.dfs.core.windows.net对应的配置值，和Azure门户中存储账户的访问密钥逐一比对，确保无空格、拼写错误或过期情况
  3. 若使用服务主体而非账户密钥，替换为以下配置（需填入对应参数）：

     fs.azure.account.auth.type.prod.dfs.core.windows.net OAuth
     fs.azure.account.oauth.provider.type.prod.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
     fs.azure.account.oauth2.client.id.prod.dfs.core.windows.net <你的客户端ID>
     fs.azure.account.oauth2.client.secret.prod.dfs.core.windows.net <你的客户端密钥>
     fs.azure.account.oauth2.endpoint.prod.dfs.core.windows.net https://login.microsoftonline.com/<你的租户ID>/oauth2/token
     

• 验证存储路径与访问性

  1. 确认whl包路径格式正确：abfss://<文件系统名>@<存储账户名>.dfs.core.windows.net/<文件路径>，你的路径abfss://fs-abc-@prod.dfs.core.windows.net/code/abc.whl格式合规，但需确认fs-abc-文件系统确实存在于prod存储账户中
  2. 在集群关联的笔记本中运行测试代码，验证存储访问：

     dbutils.fs.ls("abfss://fs-abc-@prod.dfs.core.windows.net/code/")
     

     若此步骤报错，优先解决存储权限问题，再尝试安装库

• 切换安装方式
  如果运行时通过API安装仍有问题，可先将该whl包添加为集群的已安装库（集群配置页面的Libraries标签），再提交作业，绕过运行时权限验证环节

内容的提问来源于stack exchange，提问作者user19930511