Spark Standalone集群Supervise模式下，Master持续为已终止Driver启动Executor问题

我来帮你搞定这个头疼的问题！当Driver所在机架突然断电后，Spark Master过了15分钟才反应过来，期间还一直给已经挂了的应用启动Executor，核心原因是心跳超时机制的默认配置太宽松，导致Master无法及时感知Driver的异常状态。

为什么会出现这个情况？ #

Spark Standalone集群里，Master是靠心跳来监控Driver和Worker存活状态的。如果Driver所在节点直接断电（不是优雅退出），Driver没法主动给Master发“我挂了”的信号，Master只能傻等心跳超时，默认的超时参数设置得比较大，就会出现你遇到的15分钟延迟。

具体解决方案 #

1. 调整心跳相关配置参数 #

通过缩短心跳间隔和网络超时时间，让Master更快检测到Driver的异常。你可以在提交应用时临时配置，或者在集群全局配置：

提交应用时指定参数

spark-submit \
  --class com.yourcompany.YourAppClass \
  --master spark://your-master-host:7077 \
  --deploy-mode cluster \
  --supervise \
  --conf spark.driver.heartbeatInterval=5s \
  --conf spark.network.timeout=30s \
  your-application.jar

全局配置（修改spark-defaults.conf）

在集群的spark-defaults.conf文件中添加以下配置，对所有应用生效：

spark.driver.heartbeatInterval 5s
spark.network.timeout 30s

注意：spark.network.timeout要设置为spark.driver.heartbeatInterval的几倍，确保Master有足够的时间接收多次心跳后再判定超时。

2. 启用Executor黑名单机制 #

开启黑名单可以让Master停止给已经失联的Driver分配新的Executor，避免资源浪费：

# 提交时添加该配置
--conf spark.blacklist.enabled=true \
--conf spark.blacklist.timeout=60s

3. 节点级监控补充 #

如果集群有监控系统，可以加个脚本定期检查Driver所在节点的存活状态。一旦节点失联超过设定时间（比如1分钟），主动调用Spark的REST API通知Master标记该节点上的Driver为已死亡，进一步缩短感知时间。

验证效果 #

修改完配置后，再模拟一次机架断电的场景，观察Master日志：正常情况下，Master应该在30秒内检测到Driver心跳中断，停止启动新Executor，并且在Supervise模式下尝试重启Driver（如果节点恢复的话）。

内容的提问来源于stack exchange，提问作者eprabab