MS Databricks Spark读取本地CSV报绝对URI含相对路径错误求助
Databricks读取本地文件问题修复方案
一、Spark读取本地CSV路径报错修复
你遇到的java.net.URISyntaxException报错核心原因是:Databricks集群运行在云端服务器,无法直接识别、访问你本地Windows电脑的磁盘路径,你传入的C盘路径在集群环境中属于非法URI格式。
可选择以下任意一种方案解决:
- 方案1:上传文件到Databricks文件存储(DBFS)
- 点击Databricks侧边栏「数据」选项→选择「创建新表」→点击「上传文件」,将本地的
MasterFile_v0.csv上传到FileStore目录 - 上传完成后复制页面生成的DBFS路径,格式一般为
dbfs:/FileStore/shared_uploads/你的账号邮箱/MasterFile_v0.csv - 替换原有读取代码即可:
df = spark.read.format("csv").option("header", True).load("dbfs:/FileStore/shared_uploads/替换为你自己的路径/MasterFile_v0.csv") - 点击Databricks侧边栏「数据」选项→选择「创建新表」→点击「上传文件」,将本地的
- 方案2:本地配置Databricks Connect
本地开发环境安装Databricks Connect并绑定目标集群,在本地运行PySpark代码时即可直接读取本地磁盘的C盘路径,无需上传文件到云端。
二、无权限安装xlrd的问题解决
%pip install xlrd提示无权限一般是因为你使用的是企业版共享集群,管理员关闭了Notebook侧的自主安装库权限,可按以下方式处理:
- 若确实需要使用xlrd:联系集群管理员,在集群配置页面的「库」标签页添加PyPI包
xlrd,集群重启后所有关联该集群的Notebook都可直接调用xlrd,无需个人单独安装 - 注意:pandas读取CSV格式文件无需xlrd依赖,仅读取.xls格式的Excel文件才需要安装该库。如果你只是读取CSV,直接调用
pandas.read_csv()方法即可,不需要安装xlrd
三、本地文件读取最佳实践
- 小于100MB的小文件,优先直接上传到DBFS FileStore目录,操作简单读写稳定
- 大于100MB的大文件,优先上传到Databricks绑定的对象存储(S3/ADLS/OSS等),再通过对应存储路径读取,性能更高
- 日常开发需要频繁读取本地文件的场景,优先配置Databricks Connect本地开发环境,避免反复上传文件的操作成本
内容的提问来源于stack exchange,提问作者C Cheng
相关产品推荐
相关产品推荐

