如何彻底终止/取消Spark作业？解决超时后残留任务问题

先排查Task Reaper未生效的原因 #

• 确认配置是否正确加载：
  进入Spark UI的「Environment」标签，搜索spark.task.reaper相关配置，检查spark.task.reaper.enabled是否确实为true、spark.task.reaper.killTimeout是否为5。注意Databricks的Spark配置格式是每行key value（用空格分隔，不是等号），如果之前用了=，可能导致配置未被识别，改成spark.task.reaper.enabled true和spark.task.reaper.killTimeout 5试试。
• 检查适用范围：
  Task Reaper仅负责终止executor上卡住的任务，如果是driver端的JDBC操作（比如元数据查询）卡住，这个功能无法处理。此时需要单独给driver端的JDBC操作设置超时。
• 确认Spark版本兼容性：
  Spark 3.3.2中Task Reaper需要spark.task.maxFailures不为0（默认是4，无需修改），同时确保集群没有禁用该功能的自定义配置。

改用Databricks原生作业超时（最可靠） #

Databricks提供了作业级别的超时控制，比自定义Listener更彻底：

• 创建或编辑作业时，进入「Advanced options」，设置「Job timeout」（单位秒）；
• 或者在作业的JSON配置中添加"timeout_seconds": 3600（示例为1小时）。
  这个设置会在超时后直接终止整个作业的所有相关进程，不会留下残留任务。

给JDBC查询添加超时（从根源避免挂起） #

很多时候作业挂起是因为JDBC连接或查询没有超时限制，直接在JDBC配置中添加：

• JDBC URL参数：根据数据库类型添加超时，比如MySQL：

  jdbc:mysql://host:port/db?connectTimeout=30000&socketTimeout=60000
  

  PostgreSQL：

  jdbc:postgresql://host:port/db?connectTimeout=30&socketTimeout=60
  

• Spark JDBC配置：添加queryTimeout参数，限制查询执行时间：

  val df = spark.read.format("jdbc")
    .option("url", "your_jdbc_url")
    .option("dbtable", "target_table")
    .option("user", "username")
    .option("password", "password")
    .option("queryTimeout", "300") // 单位秒，示例5分钟
    .load()
  

改进自定义超时Listener的实现 #

如果坚持用SparkListener，确保取消逻辑覆盖所有任务：

• 在捕获到超时后，不仅调用job.cancel()，还要通过SparkContext.cancelJob(jobId)来取消整个作业；
• 实现onTaskStart和onTaskProgressUpdate监听，对单个超时任务调用task.cancel()，避免残留。

日志排查辅助 #

• 查看executor日志，搜索「TaskReaper」关键词，确认是否有初始化日志（如"TaskReaper is enabled"），如果没有说明配置未生效；如果有，查看是否有任务超时的处理日志；
• 查看driver日志，检查作业取消时是否有异常信息，判断任务残留的具体原因。

内容的提问来源于stack exchange，提问作者Kombajn zbożowy