Spark History Server已解析日志但无显示问题求助
Spark History Server 无法显示应用日志求助
我搭建了搭配Hadoop的Spark集群,采用YARN作为资源管理器,已完成以下核心配置:
- 将
spark.history.fs.logDirectory与spark.eventLog.dir配置为HDFS中的同一路径 - 开启
spark.eventLog.enabled并设置为true
已做排查动作:
- 历史服务器日志仅包含INFO级信息,无错误记录
- 已排除HDFS路径的权限问题
- 确认应用运行后日志已生成在指定的HDFS路径下
- 历史服务器日志明确显示其正在正确的目标目录下查找日志文件
但Spark History Server的UI中始终没有应用日志展示,怀疑遗漏了某些基础配置。
相关关键信息:
历史服务器日志核心内容
日志显示历史服务器已在解析目标HDFS目录下的文件,但最终未在UI中展示这些日志。
spark-defaults.conf核心配置
spark.eventLog.enabled=true spark.eventLog.dir=hdfs://[集群地址]/指定日志路径 spark.history.fs.logDirectory=hdfs://[集群地址]/指定日志路径
Ansible部署剧本关键片段(行166-192、370)
- 行166-192:负责Spark历史服务器的配置文件分发、服务启动配置
- 行370:完成HDFS日志目录的权限配置与初始化操作
补充:历史服务器确实在读取目标路径下的日志文件,但UI就是不显示任何应用记录。
内容的提问来源于stack exchange,提问作者user14749247
相关产品推荐
相关产品推荐

