Databricks Community工作区无法通过Python访问DBFS文件
我已搭建好Databricks Community社区工作区,创建了若干目录并上传了文件,可通过 dbutils.fs.ls 命令正常列出这些文件。
但我无法使用Python访问这些文件,存储结构因未知原因无法被正常访问。请问这是我的操作存在失误,还是Databricks Community版本存在相关使用限制?
排查与解决方案
该问题并非Databricks Community版本的使用限制导致,绝大多数场景下是路径体系混淆引发的,具体如下:
- 核心逻辑差异:
dbutils.fs.ls操作的是DBFS(Databricks分布式文件系统)的逻辑路径,而原生Python API(非PySpark接口)直接访问的是集群驱动节点的本地文件系统。Databricks仅会将DBFS挂载到驱动节点本地的/dbfs/目录下,两套路径不能直接通用。 - 针对性解决方法:
- 使用原生Python API(如
open()、pandas.read_csv()、os.listdir())访问文件时,需在原DBFS路径前添加/dbfs/前缀。例如dbutils.fs.ls("/FileStore/data/test.csv")可正常识别的文件,Python访问时需写为pd.read_csv("/dbfs/FileStore/data/test.csv")。 - 使用PySpark API读取文件时,直接使用原生DBFS路径即可,无需添加
/dbfs/前缀,例如spark.read.csv("/FileStore/data/test.csv")。
- 使用原生Python API(如
- 其他排查方向:
- 确认文件上传位置:Databricks的Workspace目录(存储Notebook、第三方库等工作区资源)与DBFS完全隔离,
dbutils.fs.ls默认无法访问Workspace路径,若混淆两类存储位置也会出现访问异常。 - 确认目录持久化属性:Community Edition集群空闲超过2小时会自动回收,临时目录(如
/tmp)下的文件会在集群回收后清空。若需长期保留文件,建议上传到/FileStore等持久化存储目录,集群重启后文件仍可正常访问。
- 确认文件上传位置:Databricks的Workspace目录(存储Notebook、第三方库等工作区资源)与DBFS完全隔离,
内容的提问来源于stack exchange,提问作者Grevioos
相关产品推荐
相关产品推荐

