Spark 3.2.3/3.5版本History Server在K8s中无法加载事件

• 检查事件文件格式与完整性
  虽然日志显示解析完成，但可以手动验证事件文件：

  • 进入History Server Pod，用spark-shell加载事件文件，执行org.apache.spark.deploy.history.HistoryServer.loadEventFile(new java.io.File("/path/to/eventfile"))，看是否抛出异常
  • 确认事件文件不是空文件，注意.inprogress后缀的文件不会被History Server解析——Spark作业正常完成后会自动把文件重命名为.completed，如果作业异常终止可能没完成重命名，可手动修改后缀测试

• 验证Spark History Server的核心配置
  检查以下关键参数是否配置正确：

  • spark.history.fs.logDirectory：确保是绝对路径，且History Server启动时确实用了这个配置——可以通过ps aux | grep spark查看启动命令里的参数，避免配置文件没生效
  • spark.history.fs.update.interval：默认10秒，刚写入的事件可能还没刷新到UI，可临时调小到2秒重启测试
  • spark.history.fs.cleaner.enabled：如果开了自动清理，确认事件文件没被误删，可临时关闭该参数重启试试

• 排查UI端的缓存或加载问题

  • 强制刷新浏览器（Ctrl+F5），或者用无痕模式打开UI，避免浏览器缓存旧页面
  • 打开浏览器控制台，查看History Server的API请求（比如/api/v1/applications）是否返回数据——如果API有返回但UI没显示，可能是前端资源加载异常，重启History Server Pod即可

• 确认K8s存储卷挂载的一致性
  虽然你能读写目录，但要确认：

  • History Server和Spark作业Pod挂载的是同一个PVC的同一路径，检查PVC的访问模式是否为ReadWriteMany，避免出现挂载不同存储实例的情况
  • 存储目录的权限是否包含execute权限（部分存储需要这个权限才能遍历目录），可执行chmod -R 755 /path/to/event-dir测试

内容的提问来源于stack exchange，提问作者Bhaskar