Spark S3零重命名提交器追加模式下FileAlreadyExistsException问题求助

我按照Spark文档实现了“零重命名”提交器，使用的配置如下：

spark.hadoop.fs.s3a.committer.name directory
spark.sql.sources.commitProtocolClass org.apache.spark.internal.io.cloud.PathOutputCommitProtocol
spark.sql.parquet.output.committer.class org.apache.spark.internal.io.cloud.BindingParquetOutputCommitter

写入S3的代码片段：

results
      .write
      .mode(SaveMode.Append)
      .parquet(s"s3a://$bucket/collect")

执行时抛出以下异常：

Exception in thread "main" org.apache.spark.SparkException: Job aborted.
    ...
Caused by: org.apache.hadoop.fs.FileAlreadyExistsException: s3a://xxx/xxx/part-00037-12a73da4-460e-4562-81f6-11f21bf114dd.c000.snappy.parquet already exists
    at org.apache.hadoop.fs.s3a.S3AFileSystem.create(S3AFileSystem.java:1338)
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:1195)
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:1175)

推测该异常是任务初始失败后重试时，追加模式下遇到已存在的输出文件导致的。当前我使用spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1，是否应该切换为版本2？或者有其他解决办法？

1. 优先切换到FileOutputCommitter版本2 #

必须切换到版本2，这是解决该问题的核心方案。
版本1的提交器在任务重试时，会直接尝试写入原路径的同名文件；而版本2会先将任务输出写入临时子目录，只有当任务完全成功后，才会将文件移动到最终输出路径。这种设计完全适配S3的对象存储特性，从根源上避免了重试时的文件冲突。

修改配置：

spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2

2. 配置S3A提交器的冲突处理规则 #

针对零重命名提交器，补充以下配置来强化冲突处理：

• spark.hadoop.fs.s3a.committer.staging.conflict-mode overwrite：当临时目录出现冲突文件时直接覆盖，避免任务因文件存在而失败
• spark.hadoop.fs.s3a.create.overwrite true：允许创建文件时覆盖已存在的对象（仅在确认安全的场景下开启，防止误删有效数据）

3. 调整任务重试策略 #

适当降低任务重试次数，减少冲突概率：

spark.task.maxFailures=3  # 默认值为4，可根据集群稳定性调整

4. 确认版本兼容性 #

确保使用的Hadoop版本≥3.2、Spark版本≥3.0，旧版本的零重命名提交器在追加模式下存在兼容性缺陷，可能导致此类问题。

内容的提问来源于stack exchange，提问作者JoeYo