You need to enable JavaScript to run this app. MS Databricks Spark读取本地CSV报绝对URI含相对路径错误求助
优惠活动
大模型
产品
解决方案
定价
更多

MS Databricks Spark读取本地CSV报绝对URI含相对路径错误求助

Databricks读取本地文件问题修复方案

一、Spark读取本地CSV路径报错修复

你遇到的java.net.URISyntaxException报错核心原因是:Databricks集群运行在云端服务器,无法直接识别、访问你本地Windows电脑的磁盘路径,你传入的C盘路径在集群环境中属于非法URI格式。
可选择以下任意一种方案解决:

  • 方案1:上传文件到Databricks文件存储(DBFS)
    1. 点击Databricks侧边栏「数据」选项→选择「创建新表」→点击「上传文件」,将本地的MasterFile_v0.csv上传到FileStore目录
    2. 上传完成后复制页面生成的DBFS路径,格式一般为dbfs:/FileStore/shared_uploads/你的账号邮箱/MasterFile_v0.csv
    3. 替换原有读取代码即可:
    df = spark.read.format("csv").option("header", True).load("dbfs:/FileStore/shared_uploads/替换为你自己的路径/MasterFile_v0.csv")
    
  • 方案2:本地配置Databricks Connect
    本地开发环境安装Databricks Connect并绑定目标集群,在本地运行PySpark代码时即可直接读取本地磁盘的C盘路径,无需上传文件到云端。

二、无权限安装xlrd的问题解决

%pip install xlrd提示无权限一般是因为你使用的是企业版共享集群,管理员关闭了Notebook侧的自主安装库权限,可按以下方式处理:

  • 若确实需要使用xlrd:联系集群管理员,在集群配置页面的「库」标签页添加PyPI包xlrd,集群重启后所有关联该集群的Notebook都可直接调用xlrd,无需个人单独安装
  • 注意:pandas读取CSV格式文件无需xlrd依赖,仅读取.xls格式的Excel文件才需要安装该库。如果你只是读取CSV,直接调用pandas.read_csv()方法即可,不需要安装xlrd

三、本地文件读取最佳实践

  • 小于100MB的小文件,优先直接上传到DBFS FileStore目录,操作简单读写稳定
  • 大于100MB的大文件,优先上传到Databricks绑定的对象存储(S3/ADLS/OSS等),再通过对应存储路径读取,性能更高
  • 日常开发需要频繁读取本地文件的场景,优先配置Databricks Connect本地开发环境,避免反复上传文件的操作成本

内容的提问来源于stack exchange,提问作者C Cheng

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 08:54:00