如何在Databricks的Spark UI中显示更多已完成作业？

调整Spark UI的作业保留配置 #

Databricks依赖Spark内置参数控制UI中保留的作业数量，你可以通过以下配置修改：

• 设置spark.ui.retainedJobs参数，指定Spark UI保留的最大作业数，默认值通常为1000左右（你看到的904是因为部分旧作业被自动清理）。可以在集群的Spark配置中添加该参数，示例配置：

  spark.ui.retainedJobs 2000
  

• 同时建议配套调整spark.ui.retainedStages和spark.ui.retainedTasks参数，避免阶段、任务数据提前被清理，确保作业信息完整显示。

借助Databricks工具获取完整作业数据 #

如果不想重启集群或调整配置，可通过以下方式获取全量作业信息：

• 使用Databricks作业历史API，调用相关接口提取所有作业的执行记录；
• 查看集群的事件日志文件，里面包含了所有作业的详细运行数据，可用于补充Spark UI的分析。

排查集群生命周期影响 #

若你的工作流涉及多个集群或集群有重启操作，Spark UI仅会保留当前集群运行期间的作业数据。这种情况下需要检查作业是否分布在不同集群，或通过Databricks的工作流历史页面查看全量执行记录。

内容的提问来源于stack exchange，提问作者Vincent Doba