Spark 4.0自定义log4j2.properties配置不生成日志文件求助

针对你在Windows 11下使用Spark 4.0.0-preview2-bin-hadoop3时遇到的自定义日志文件无内容、配置不生效问题，按以下步骤排查修正：

1. 修正Log4j2配置文件的关键错误 #

你的log4j2.properties存在两处核心问题，直接导致日志无法写入文件：

• RootLogger Appender引用错误：
  你定义的文件Appender名称是FileAppender，但rootLogger.appenderRef.stdout.ref = file里的引用名称不匹配，且stdout通常对应控制台输出。修改为：

  rootLogger.level = info
  # 让root日志输出到FileAppender
  rootLogger.appenderRef.file.ref = FileAppender
  # 如需同时输出到控制台，保留这行
  rootLogger.appenderRef.console.ref = console
  

• Windows文件路径格式错误：
  Log4j2在Windows下无需file:///前缀，直接使用本地绝对路径即可，修正fileName配置：

  appender.file.fileName = C:/spark-4.0.0-preview2-bin-hadoop3/logs/spark.log
  # 或者用双反斜杠转义
  # appender.file.fileName = C:\\spark-4.0.0-preview2-bin-hadoop3\\logs\\spark.log
  

2. 确保Spark正确加载自定义Log4j2配置 #

在spark-defaults.conf中添加的参数需准确指向配置文件路径，注意Windows下的路径格式：

spark.driver.extraJavaOptions=-Dlog4j.configurationFile=file:///C:/spark-4.0.0-preview2-bin-hadoop3/conf/log4j2.properties
# 如果是集群模式，还需添加executor的配置
spark.executor.extraJavaOptions=-Dlog4j.configurationFile=file:///C:/spark-4.0.0-preview2-bin-hadoop3/conf/log4j2.properties

注意：如果你的Spark是通过IDE运行，需在VM options中手动添加-Dlog4j.configurationFile=file:///[你的配置文件绝对路径]，因为IDE不会自动读取spark-defaults.conf的参数。

3. 检查文件权限与目录存在性 #

• 确认C:/spark-4.0.0-preview2-bin-hadoop3/logs目录存在，且Spark运行的用户（当前登录Windows的用户）拥有该目录的读写权限。
• 手动创建的spark.log不要设置为只读属性，否则Log4j2无法写入内容。

4. 验证配置加载状态 #

运行Spark程序时，观察控制台输出，查找类似Loading Log4j2 configuration from [你的配置文件路径]的日志。如果仍显示加载默认配置，需检查：

• 配置文件路径是否写错，尤其是文件名要准确（必须是log4j2.properties而非log4j.properties）。
• 是否有其他地方的配置覆盖了当前设置，比如启动脚本、IDE的VM参数、系统环境变量LOG4J_CONFIGURATION_FILE。

完成以上修正后，重新运行Spark程序，日志应该会正常写入spark.log文件。

内容的提问来源于stack exchange，提问作者Joseph Hwang