我之前也碰到过一模一样的问题！尤其是处理带多层子目录的Spark输出路径时，经常踩这个坑——明明删了内容，顶层目录却顽固留着。折腾了好一阵，总结出几个靠谱的解决办法，你可以试试：

如果你的输出目录在HDFS上，直接用这条命令绝对能解决问题：

hdfs dfs -rm -r -f <你的输出路径>

参数说明：

• -r：递归遍历所有子目录和文件，确保全删干净
• -f：强制删除，就算目录非空或者不存在也不会抛出错误，避免打断后续作业
  你可以把这条命令放在Spark作业启动的shell脚本最前面，先删再提交任务，稳得一批。

如果想在代码层面集成删除逻辑，别用简单的delete方法，一定要用FileSystem的递归删除重载方法。举个Scala的例子：

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.spark.SparkContext

// 假设你已经初始化了SparkContext
val sc: SparkContext = ...
val outputPath = new Path("hdfs://your/cluster/output/path")
val fs = FileSystem.get(sc.hadoopConfiguration)

if (fs.exists(outputPath)) {
  // 第二个参数必须设为true，才会递归删除所有内容+顶层目录
  val deleteSuccess = fs.delete(outputPath, true)
  if (deleteSuccess) {
    println(s"成功删除目录: ${outputPath.toString}")
  } else {
    println(s"删除目录失败，请检查权限或目录状态")
  }
}

Java代码逻辑完全一致，核心就是第二个布尔参数设为true——要是设成false，只会删除空目录，有内容的话顶层目录就会留下来。

偶尔出现删不掉的情况，可能是因为还有其他进程在占用这个目录（比如之前的Spark作业没完全退出，或者有其他服务在读写）。你可以用这两个命令排查：

# 查看目录状态
hdfs dfs -stat <你的输出路径>
# 检查目录是否有文件被锁定或损坏
hdfs fsck <你的输出路径>

如果发现是进程占用，先杀掉相关进程再执行删除操作就行。

• 千万别用hdfs dfs -rmdir命令，它只能删除空目录，目录里有内容的话完全没用
• 确保执行删除操作的用户对目标目录有写和删除权限，权限不够也会导致删不掉顶层目录
• 如果是本地文件系统（不是HDFS），把HDFS命令换成rm -rf <你的输出路径>，代码里可以用Java的Files.walkFileTree来实现递归删除

内容的提问来源于stack exchange，提问作者user9175539