Apache-Spark：如何通过客户端代码让失败任务在不同Executor重试？

1. Spark默认是否会在不同Executor上重试失败任务？ #

默认情况下，Spark不会强制在不同Executor上重试任务。任务调度优先遵循数据本地性原则：如果失败任务对应的RDD分区数据存储在原Executor所在节点的本地（比如HDFS的本地数据块），调度器会优先将重试任务分配回原Executor，以避免跨节点数据传输带来的性能损耗。只有当原Executor不可用（如进程崩溃）、或者数据本地性无法在超时时间内满足时，才会将任务调度到其他Executor。

2. 4次重试是否都在同一台Executor上执行？ #

是的，大概率这4次重试都在executorserver42上执行。因为该Executor处于正常运行状态（只是访问HDFS时触发异常），Spark调度器会基于数据本地性优先的逻辑，反复将任务分配到这台存储了对应分区数据的节点上，导致重试任务持续在同一Executor上运行。

3. 如何通过客户端代码配置强制重试时切换Executor？ #

由于你无法修改集群配置，可通过客户端代码设置以下参数来调整调度逻辑：

• 调整数据本地性等待时间：设置spark.locality.wait为0，让调度器放弃等待数据本地性，直接将任务调度到其他可用Executor。代码示例：

  val conf = new SparkConf()
    .setAppName("YourApp")
    .set("spark.locality.wait", "0")
  val sc = new SparkContext(conf)
  

  注意：该设置会牺牲数据本地性带来的性能优势，仅建议在特定故障场景下临时使用。
• 细化本地性等待参数：如果不想全局禁用本地性，可针对节点级/进程级本地性设置更短的等待时间，比如：

  conf.set("spark.locality.wait.node", "0")
  conf.set("spark.locality.wait.process", "0")
  

• 重分区调整数据分布：对目标RDD执行repartition操作，重新分配数据分区到不同节点，间接让重试任务被调度到其他Executor。但该操作会触发Shuffle，带来额外开销，需根据数据量权衡。

4. HDFS文件系统临时不可用故障是否常见？ #

HDFS临时不可用的情况不算普遍，常见场景包括：DataNode短暂失联、网络波动导致连接中断、NameNode主备切换期间的短暂服务暂停。但你遇到的"Filesystem closed"异常更可能是特定Executor上的HDFS客户端实例异常关闭（比如客户端资源泄漏、进程内部错误），而非HDFS集群整体故障。

内容的提问来源于stack exchange，提问作者tomoyo255