Databricks中%sh ls与%fs ls的区别及文件迁移操作方法
%sh ls 与 %fs ls 对应存储路径的核心差异
- 存储本质完全不同
%sh ls是直接在集群节点的操作系统Shell环境中执行的命令,看到的是集群节点本地磁盘上的文件系统内容:这类文件只存在当前执行Shell命令的单个节点本地,节点销毁、集群重启后文件会永久丢失,其他集群节点、跨任务/跨集群都无法访问这些路径下的内容。%fs ls是Databricks封装的、专门访问统一文件系统(DBFS)的专用指令,看到的是挂载到工作区的云对象存储内容:底层数据不存在集群节点本地磁盘上,所有挂载了对应DBFS路径的集群节点都能按权限访问,集群销毁后数据仍然保留在对象存储中不会丢失。
- 路径规则不同
%sh环境下只认操作系统原生的本地路径格式,比如/tmp、/home/ubuntu;DBFS在节点本地是被自动挂载到/dbfs目录下的,因此在Shell中访问DBFS文件需要走/dbfs/xxx的路径格式,直接写dbfs:/xxx是无法被Shell识别的。%fs环境下默认使用DBFS的虚拟路径规则,直接写/xxx或者带dbfs:/xxx前缀的路径就可以访问对应DBFS下的内容,不需要加本地挂载的/dbfs前缀。
- 可见性与权限范围不同
%sh ls看到的本地文件仅对当前执行命令的单个节点可见,不做全局共享。%fs ls看到的DBFS文件是工作区级别的共享资源,同工作区下所有拥有对应路径权限的集群、任务都可以直接访问。
从节点本地路径迁移文件到DBFS管辖路径的操作方法
核心逻辑:DBFS在每个集群节点上都被自动挂载到了 /dbfs 本地路径,因此不需要专门做跨节点网络传输,直接在节点本地执行文件复制操作就可以完成迁移,常用的操作方式有两种:
方式1:Shell命令直接迁移(适合大文件、批量目录迁移,效率最高)
直接在%sh Cell中使用原生的cp命令,把本地路径下的文件复制到/dbfs对应的目标DBFS路径下即可。
典型操作流程:
- 先通过
%sh ls定位待迁移的本地文件路径,比如发现文件存在于/tmp/exported_data.parquet - 目标DBFS路径如果是
dbfs:/mnt/我的业务数据/,对应的Shell本地挂载路径就是/dbfs/mnt/我的业务数据/ - 执行复制命令:
# 迁移单个文件 %sh cp /tmp/exported_data.parquet /dbfs/mnt/我的业务数据/exported_data.parquet # 递归迁移整个本地文件夹 %sh cp -r /tmp/整个本地目录 /dbfs/mnt/我的业务数据/
方式2:dbutils 指令迁移(适合在Notebook逻辑中嵌入迁移流程)
你已经熟悉的dbutils.fs.cp指令本身就支持跨存储位置的复制,之前用它在DBFS内部复制文件的操作逻辑完全可以复用——只需要给源路径加上file://前缀,就可以直接识别节点本地的文件,不需要手动映射/dbfs路径。
示例操作:
# 复制单个本地文件到DBFS dbutils.fs.cp( source = "file:///tmp/exported_data.parquet", dest = "dbfs:/mnt/我的业务数据/exported_data.parquet" ) # 递归复制整个本地文件夹到DBFS,第三个参数为True代表开启递归复制 dbutils.fs.cp( source = "file:///tmp/整个本地目录", dest = "dbfs:/mnt/我的业务数据/", recurse = True )
迁移后的验证
复制操作执行完成后,直接运行%fs ls /mnt/我的业务数据/,如果能在返回结果里看到你之前迁移的文件,就说明文件已经正常进入DBFS管辖范围,可以被跨节点、跨集群访问了。
常见注意事项
- 多节点集群的
%sh命令默认只在驱动节点上执行,之前通过%sh ls看到的本地文件都是驱动节点上的内容,上述迁移方法可以直接正常工作;如果待迁移的文件存在于工作节点(不是驱动节点)的本地磁盘上,需要先通过Spark作业把工作节点上的文件收集回驱动节点,再执行上述迁移操作。 - 不要在Shell环境中使用
dbfs:/xxx的路径写法,Shell只认本地挂载的/dbfs目录路径,写错路径会找不到目标位置。
内容的提问来源于stack exchange,提问作者Justin
相关产品推荐
相关产品推荐

