Spark作业成功完成却显示活跃作业与待处理任务的原因排查

这种情况我在日常调试Spark作业时碰到过好几次，结合经验来看，主要有这几个常见原因：

• 未显式关闭Spark上下文
  Spark作业执行完成后，如果没有调用spark.stop()（针对SparkSession）或者sc.stop()（针对旧版SparkContext），Spark会认为上下文仍处于活跃状态。你看到的Job ID:0很可能是上下文初始化阶段关联的底层作业，因为上下文没关闭，所以一直显示未完成。尤其是在迭代执行多个查询的场景中，很多人会忽略显式关闭上下文这一步。

• 存在未触发的惰性求值逻辑
  Spark的核心特性是惰性求值：只有当你执行行动操作（比如show()、count()、write.save()）时，才会真正提交任务到集群执行。如果你的代码里有某个查询只定义了DataFrame/Dataset，但没有触发任何行动操作（比如只写了val df = spark.sql("SELECT * FROM my_table")却没做后续处理），这个逻辑会留在Spark的DAG计划中，对应的Job（比如ID:0）会一直处于待处理状态，因为它从未被真正触发执行。

• 异步任务或自定义监听器残留
  如果你的作业中使用了异步操作（比如foreachAsync），或者自定义了Spark监听器（比如Metrics监听器、自定义日志监听器），这些任务可能在后台持续运行，导致Spark认为还有活跃作业。主流程跑完了，但后台异步任务没结束，就会出现这种“作业完成但仍有活跃任务”的情况。

• UI状态延迟更新
  偶尔会遇到Spark UI或资源管理器（比如YARN）的状态更新有延迟，显示的活跃作业其实已经完成，只是界面没刷新。这种情况一般等待几分钟，或者刷新UI页面后状态就会恢复正常。

排查建议 #

1. 检查代码末尾是否添加了spark.stop()语句，确保SparkSession正常关闭；
2. 逐一核对所有查询语句，确认每个需要执行的逻辑都有对应的行动操作，没有悬空的未触发的DataFrame；
3. 如果用了异步操作或自定义监听器，确保这些任务在作业结束前已经完成；
4. 刷新Spark UI页面，或者直接查看资源管理器（如YARN RM）的任务状态，确认是否是UI缓存导致的显示问题。

内容的提问来源于stack exchange，提问作者AJm