如何在Databricks中用PySpark不借助db.utils删除目录?(含%fs方案)
在Databricks中使用%fs命令删除目录(无需db.utils)
%fs是Databricks Notebook内置的魔法命令,完全可以实现目录及其中文件的删除操作,不需要依赖db.utils或额外的PySpark API。
关键命令说明
- 删除空目录:如果目标目录没有任何内容,直接执行:
%fs rm <目标目录路径> - 递归删除非空目录(含所有文件/子目录):添加
-r参数即可一次性删除目录下所有内容及目录本身:%fs rm -r <目标目录路径>
实际示例
比如要删除DBFS上的/tmp/my_data_dir目录(不管里面是否有文件或子目录),在Notebook单元格中执行:
%fs rm -r /tmp/my_data_dir
如果只想清空目录下的所有文件但保留目录本身,可以用通配符匹配目录内的所有内容:
%fs rm -r /tmp/my_data_dir/*
注意点
- 路径支持标准DBFS格式,比如
/dbfs/mnt/external_data或简写的/mnt/external_data都可以 - 该操作无确认步骤,执行后直接删除目标,务必提前确认路径正确
- 若目标路径不存在,命令会返回提示信息,不会抛出异常
内容的提问来源于stack exchange,提问作者Aaryan Ohekar
相关产品推荐
相关产品推荐

