升级至PySpark==3.5.1后频繁出现「Authorized committer」错误求助

从堆栈信息来看，错误的核心触发点是Executor被YARN抢占，结合你怀疑的SPARK-39195变更（该变更引入了Authorized Committer容错逻辑），大概率是抢占场景下的逻辑误判导致任务终止并提示数据重复。以下是针对性的解决思路：

一、优化YARN调度配置，减少Executor抢占 #

先从根源降低Executor被抢占的概率：

• 调整容量调度的资源计算器：

  yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
  

  该配置会基于CPU、内存的主导资源分配队列，避免单一资源耗尽引发的抢占。
• 增大Application Master资源占比：

  yarn.scheduler.capacity.maximum-am-resource-percent=0.2
  

  保证AM有足够资源稳定运行，避免因AM调度异常触发Executor抢占。
• 匹配节点实际资源配置：
  确保yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores与节点硬件实际匹配，避免资源过载导致频繁抢占。
• 延长抢占检测间隔：

  yarn.scheduler.capacity.preemption.monitoring-interval=30000
  

  减少不必要的抢占触发频率。

二、调整Spark Authorized Committer相关配置 #

针对SPARK-39195引入的逻辑做适配：

• 临时关闭Authorized Committer验证：

  spark.sql.sources.authorizedCommitter.enabled=false
  

  若关闭后错误消失，可直接确认问题源于该变更的逻辑冲突。
• 提升提交重试次数：

  spark.sql.sources.commitRetryAttempts=8
  

  默认重试次数为4，提升后可应对短暂的Executor抢占场景。
• 开启写入冲突自动重试：

  spark.sql.sources.write.retryOnConflict=true
  

  让Spark遇到提交冲突时自动重试，而非直接终止任务。

三、优化Magic Committer配置 #

在已启用Magic Committer的基础上进一步提升稳定性：

• 配置冲突处理策略：

  spark.hadoop.fs.s3a.committer.staging.conflict-mode=replace
  

  临时路径存在冲突时直接替换，避免文件残留导致的提交失败。
• 指定独立临时路径：

  spark.hadoop.fs.s3a.committer.magic.staging.path=s3a://your-bucket/tmp/spark-staging/
  

  避免与其他任务共享临时路径，减少冲突概率。
• 开启并发清理临时文件：

  spark.hadoop.fs.s3a.committer.magic.cleanup.concurrent=true
  

  加快临时文件清理速度，释放节点资源。

四、任务层面的优化 #

• 调小任务粒度：
  降低spark.sql.shuffle.partitions或spark.default.parallelism的值，缩小单个任务处理的数据量，降低Executor负载，减少被抢占风险。
• 提升Executor资源配置：
  增大spark.executor.memory和spark.executor.cores，让Executor更稳定，不易被YARN标记为可抢占资源。
• 开启任务推测执行：

  spark.speculation=true
  

  当任务因Executor抢占超时时，自动启动推测任务，避免单个任务失败导致整个Stage终止。

内容的提问来源于stack exchange，提问作者akki