You need to enable JavaScript to run this app. Databricks Community工作区无法通过Python访问DBFS文件
优惠活动
大模型
产品
解决方案
定价
更多

Databricks Community工作区无法通过Python访问DBFS文件

我已搭建好Databricks Community社区工作区,创建了若干目录并上传了文件,可通过 dbutils.fs.ls 命令正常列出这些文件。
此处为操作截图

但我无法使用Python访问这些文件,存储结构因未知原因无法被正常访问。请问这是我的操作存在失误,还是Databricks Community版本存在相关使用限制?
此处为操作截图

排查与解决方案

该问题并非Databricks Community版本的使用限制导致,绝大多数场景下是路径体系混淆引发的,具体如下:

  • 核心逻辑差异:dbutils.fs.ls 操作的是DBFS(Databricks分布式文件系统)的逻辑路径,而原生Python API(非PySpark接口)直接访问的是集群驱动节点的本地文件系统。Databricks仅会将DBFS挂载到驱动节点本地的 /dbfs/ 目录下,两套路径不能直接通用。
  • 针对性解决方法:
    1. 使用原生Python API(如 open()、pandas.read_csv()、os.listdir())访问文件时,需在原DBFS路径前添加 /dbfs/ 前缀。例如 dbutils.fs.ls("/FileStore/data/test.csv") 可正常识别的文件,Python访问时需写为 pd.read_csv("/dbfs/FileStore/data/test.csv")。
    2. 使用PySpark API读取文件时,直接使用原生DBFS路径即可,无需添加 /dbfs/ 前缀,例如 spark.read.csv("/FileStore/data/test.csv")。
  • 其他排查方向:
    1. 确认文件上传位置:Databricks的Workspace目录(存储Notebook、第三方库等工作区资源)与DBFS完全隔离,dbutils.fs.ls 默认无法访问Workspace路径,若混淆两类存储位置也会出现访问异常。
    2. 确认目录持久化属性:Community Edition集群空闲超过2小时会自动回收,临时目录(如 /tmp)下的文件会在集群回收后清空。若需长期保留文件,建议上传到 /FileStore 等持久化存储目录,集群重启后文件仍可正常访问。

内容的提问来源于stack exchange,提问作者Grevioos

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 07:54:01