启用Unity Catalog的Shared集群中无法通过PIP访问DBFS文件

在启用Unity Catalog的Shared集群（11.3 LTS）中，直接通过/dbfs或dbfs:/路径引用requirements.txt失败，核心原因是Shared集群的权限模型与No Isolation Shared集群存在差异，默认限制了从集群本地环境直接访问DBFS的方式。可以通过以下几种方案解决：

• 复制文件到集群本地临时目录后安装
  先用dbutils将DBFS上的文件复制到集群本地临时目录，再执行pip安装：

  dbutils.fs.cp("dbfs:/FileStore/requirements.txt", "file:/tmp/requirements.txt")
  

  接着运行：

  %pip install -r /tmp/requirements.txt
  

  集群临时目录/tmp不受Unity Catalog对DBFS路径的权限限制，可直接访问。

• 使用Unity Catalog托管的存储路径
  将requirements.txt上传到Unity Catalog的存储卷或外部位置，通过统一路径引用文件。例如使用存储卷的路径格式为/Volumes/<catalog>/<schema>/<volume>/requirements.txt，执行：

  %pip install -r /Volumes/<catalog>/<schema>/<volume>/requirements.txt
  

  需确保你拥有该存储卷的SELECT权限，且集群已配置对应存储的访问权限。

• 检查集群Spark配置（可选）
  确认集群Spark配置中spark.databricks.dbfs.access.enabled是否设置为true（默认开启），若存在自定义配置限制了DBFS挂载，调整后重启集群再尝试。

内容的提问来源于stack exchange，提问作者user3579222