如何覆盖Spark Dataset？解决SaveMode.Overwrite报错问题

你的问题是用SaveMode.Overwrite写入Parquet时抛出文件不存在异常，而Append会导致重复行。以下是几种可行的解决方式：

• 手动清理目标路径后再写入
  如果目标路径是本地文件系统，先递归删除整个目录，再执行覆盖写入，避免Spark内部删除逻辑出现问题。示例代码：

  Path targetPath = getDSPath(dataset);
  // 递归删除目标目录下的所有文件和子目录
  Files.walk(targetPath)
       .sorted(Comparator.reverseOrder()) // 先删文件再删目录
       .map(Path::toFile)
       .forEach(File::delete);
  
  // 执行覆盖写入
  dataframe.write().mode(SaveMode.Overwrite).parquet(targetPath.toString());
  

  如果是HDFS等分布式存储，改用HDFS的FileSystem API删除路径：

  Configuration conf = new Configuration();
  FileSystem fs = FileSystem.get(URI.create(targetPath.toString()), conf);
  fs.delete(new Path(targetPath.toString()), true); // true表示递归删除
  

• 调整写入路径的指定方式
  避免直接在parquet()方法中传路径，改用option("path", ...)显式指定，再调用save()方法，可能解决路径解析问题：

  dataframe.write()
           .mode(SaveMode.Overwrite)
           .format("parquet")
           .option("path", getDSPath(dataset).toString())
           .save();
  

• 检查路径合法性与权限

  • 确认getDSPath(dataset)返回的路径完全正确，没有拼写错误、大小写问题或特殊字符，报错中的文件不存在可能是路径解析偏差导致的。
  • 如果是分布式存储，确保Spark运行用户拥有目标路径的删除、写入权限，权限不足会导致Overwrite模式无法正常删除原有文件。

• 升级Spark版本
  部分旧版本Spark在本地文件系统下处理Overwrite模式存在bug，升级到3.1.x及以上的稳定版本，可能修复这类文件操作异常。

内容的提问来源于stack exchange，提问作者vs777