如何通过Spark History Server定位Spark SQL长耗时Stage对应查询代码段

• 给逻辑单元加自定义标识
  针对SQL作业，每段独立执行的SQL前添加名称配置：SET spark.sql.queryName = [你的业务逻辑标识]，History Server的SQL标签页会直接展示该名称，可先将长耗时请求缩小到对应SQL片段。
  针对DataFrame API实现的逻辑，调用.withName("[自定义逻辑名]")方法为DataFrame设置别名，对应生成的RDD、Stage在DAG可视化页会显示你设置的别名，替代默认的ZippedPartitionsRDD这类无意义标识。
• 开启内置追溯配置
  将spark.sql.execution.populateExecutionContext参数设置为true，Spark会在每个执行节点的元数据中嵌入对应的代码行号、SQL片段位置信息，在Stage详情页的Description列可直接查看关联的代码位置。
  如果你使用Spark 3.3及以上版本，额外开启spark.sql.plan.descriptionWithNodeIds = true，物理计划的每个节点都会生成唯一ID，你可以先在SQL标签页的物理计划中找到最长耗时节点的ID，再直接匹配到对应Stage的DAG节点，完全一一对应。
• 拆分复杂查询做分段定位
  把大段复杂SQL拆分为多个临时表，每个临时表生成后执行cache()+count()触发独立Stage运行，哪个Stage耗时最长就对应到哪个临时表的生成逻辑，不需要在整段SQL的大DAG中逐个排查。
  也可以在关键逻辑前后添加无副作用的标记操作，比如SELECT *, 'xxx逻辑段标记' AS tag FROM 表，这个额外的SELECT操作会在DAG中生成独立的Map节点作为分段标识，快速定位前后的逻辑范围。
• 结合物理计划交叉匹配
  先在SQL标签页找到对应查询的物理计划，按时间消耗排序找到最长耗时的节点，记下该节点的算子类型（比如SortAggregate、ShuffleHashJoin）和处理数据量，再到Stage页匹配相同算子、相同数据量的Stage，即可快速关联到对应逻辑。

内容的提问来源于stack exchange，提问作者wrschneider