You need to enable JavaScript to run this app. Databricks中%sh ls与%fs ls的区别及文件迁移操作方法
优惠活动
大模型
产品
解决方案
定价
更多

Databricks中%sh ls与%fs ls的区别及文件迁移操作方法

%sh ls 与 %fs ls 对应存储路径的核心差异
  • 存储本质完全不同
    • %sh ls 是直接在集群节点的操作系统Shell环境中执行的命令,看到的是集群节点本地磁盘上的文件系统内容:这类文件只存在当前执行Shell命令的单个节点本地,节点销毁、集群重启后文件会永久丢失,其他集群节点、跨任务/跨集群都无法访问这些路径下的内容。
    • %fs ls 是Databricks封装的、专门访问统一文件系统(DBFS)的专用指令,看到的是挂载到工作区的云对象存储内容:底层数据不存在集群节点本地磁盘上,所有挂载了对应DBFS路径的集群节点都能按权限访问,集群销毁后数据仍然保留在对象存储中不会丢失。
  • 路径规则不同
    • %sh 环境下只认操作系统原生的本地路径格式,比如 /tmp、/home/ubuntu;DBFS在节点本地是被自动挂载到 /dbfs 目录下的,因此在Shell中访问DBFS文件需要走 /dbfs/xxx 的路径格式,直接写 dbfs:/xxx 是无法被Shell识别的。
    • %fs 环境下默认使用DBFS的虚拟路径规则,直接写 /xxx 或者带 dbfs:/xxx 前缀的路径就可以访问对应DBFS下的内容,不需要加本地挂载的 /dbfs 前缀。
  • 可见性与权限范围不同
    • %sh ls 看到的本地文件仅对当前执行命令的单个节点可见,不做全局共享。
    • %fs ls 看到的DBFS文件是工作区级别的共享资源,同工作区下所有拥有对应路径权限的集群、任务都可以直接访问。
从节点本地路径迁移文件到DBFS管辖路径的操作方法

核心逻辑:DBFS在每个集群节点上都被自动挂载到了 /dbfs 本地路径,因此不需要专门做跨节点网络传输,直接在节点本地执行文件复制操作就可以完成迁移,常用的操作方式有两种:

方式1:Shell命令直接迁移(适合大文件、批量目录迁移,效率最高)

直接在%sh Cell中使用原生的cp命令,把本地路径下的文件复制到/dbfs对应的目标DBFS路径下即可。
典型操作流程:

  1. 先通过%sh ls定位待迁移的本地文件路径,比如发现文件存在于 /tmp/exported_data.parquet
  2. 目标DBFS路径如果是 dbfs:/mnt/我的业务数据/,对应的Shell本地挂载路径就是 /dbfs/mnt/我的业务数据/
  3. 执行复制命令:
# 迁移单个文件
%sh cp /tmp/exported_data.parquet /dbfs/mnt/我的业务数据/exported_data.parquet

# 递归迁移整个本地文件夹
%sh cp -r /tmp/整个本地目录 /dbfs/mnt/我的业务数据/

方式2:dbutils 指令迁移(适合在Notebook逻辑中嵌入迁移流程)

你已经熟悉的dbutils.fs.cp指令本身就支持跨存储位置的复制,之前用它在DBFS内部复制文件的操作逻辑完全可以复用——只需要给源路径加上file://前缀,就可以直接识别节点本地的文件,不需要手动映射/dbfs路径。
示例操作:

# 复制单个本地文件到DBFS
dbutils.fs.cp(
  source = "file:///tmp/exported_data.parquet",
  dest = "dbfs:/mnt/我的业务数据/exported_data.parquet"
)

# 递归复制整个本地文件夹到DBFS,第三个参数为True代表开启递归复制
dbutils.fs.cp(
  source = "file:///tmp/整个本地目录",
  dest = "dbfs:/mnt/我的业务数据/",
  recurse = True
)

迁移后的验证

复制操作执行完成后,直接运行%fs ls /mnt/我的业务数据/,如果能在返回结果里看到你之前迁移的文件,就说明文件已经正常进入DBFS管辖范围,可以被跨节点、跨集群访问了。

常见注意事项

  • 多节点集群的%sh命令默认只在驱动节点上执行,之前通过%sh ls看到的本地文件都是驱动节点上的内容,上述迁移方法可以直接正常工作;如果待迁移的文件存在于工作节点(不是驱动节点)的本地磁盘上,需要先通过Spark作业把工作节点上的文件收集回驱动节点,再执行上述迁移操作。
  • 不要在Shell环境中使用dbfs:/xxx的路径写法,Shell只认本地挂载的/dbfs目录路径,写错路径会找不到目标位置。

内容的提问来源于stack exchange,提问作者Justin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 10:57:01