You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spark History Server已解析日志但无显示问题求助

Spark History Server 无法显示应用日志求助

我搭建了搭配Hadoop的Spark集群,采用YARN作为资源管理器,已完成以下核心配置:

  • 将spark.history.fs.logDirectory与spark.eventLog.dir配置为HDFS中的同一路径
  • 开启spark.eventLog.enabled并设置为true

已做排查动作:

  • 历史服务器日志仅包含INFO级信息,无错误记录
  • 已排除HDFS路径的权限问题
  • 确认应用运行后日志已生成在指定的HDFS路径下
  • 历史服务器日志明确显示其正在正确的目标目录下查找日志文件

但Spark History Server的UI中始终没有应用日志展示,怀疑遗漏了某些基础配置。

相关关键信息:

历史服务器日志核心内容

日志显示历史服务器已在解析目标HDFS目录下的文件,但最终未在UI中展示这些日志。

spark-defaults.conf核心配置

spark.eventLog.enabled=true
spark.eventLog.dir=hdfs://[集群地址]/指定日志路径
spark.history.fs.logDirectory=hdfs://[集群地址]/指定日志路径

Ansible部署剧本关键片段(行166-192、370)

  • 行166-192:负责Spark历史服务器的配置文件分发、服务启动配置
  • 行370:完成HDFS日志目录的权限配置与初始化操作

补充:历史服务器确实在读取目标路径下的日志文件,但UI就是不显示任何应用记录。

内容的提问来源于stack exchange,提问作者user14749247

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.05 18:20:42