Windows下Spark HistoryServer日志路径错误及配置不生效问题咨询

• 修正Windows路径格式：
  你配置的file:/tmp/spark-events是类Unix系统的路径格式，Windows下需使用本地文件URI格式：

  • 绝对路径示例：file:///C:/tmp/spark-events（对应C盘根目录下的tmp\spark-events文件夹）
  • 若想把日志目录放在SPARK_HOME下，比如SPARK_HOME路径为D:\spark-3.5.0，则配置为file:///D:/spark-3.5.0/tmp/spark-events
    注意：Windows路径可用正斜杠/或转义反斜杠\\，URI开头需加三个斜杠file:///

• 确认配置文件位置：
  确保修改的spark-defaults.conf位于SPARK_HOME/conf目录下，Spark默认仅加载该目录下的配置文件，修改其他位置的文件不会生效。

• 验证配置是否加载：
  启动pyspark交互环境，执行以下代码查看当前配置：

  sc.getConf().get("spark.history.fs.logDirectory")
  sc.getConf().get("spark.eventLog.dir")
  

  若输出不是你配置的正确路径，说明配置文件未被读取，检查文件是否在SPARK_HOME/conf下，或文件名是否正确（需是spark-defaults.conf，而非带.template后缀的模板文件）。

• 确保目录存在且有权限：
  根据配置的路径手动创建对应文件夹，比如配置C:/tmp/spark-events，就在C盘创建tmp文件夹，再在其中创建spark-events。同时确保Spark运行用户对该目录有读写权限，避免放在需要管理员权限的路径（如C:\Program Files下的子目录）。

• 重启HistoryServer：
  修改配置文件后，必须关闭已运行的HistoryServer进程，重新执行spark-class.cmd org.apache.spark.deploy.history.HistoryServer命令，新配置才会生效。

内容的提问来源于stack exchange，提问作者johnsontroye