K8s环境下Spark 3.x Executor无法正确解析log4j rootLogger级别求助

1. 配置文件未同步：你使用的是client部署模式，Driver运行在提交任务的本地节点，读取的是你本地修改后的log4j.properties（root级别为WARN）；但Executor是K8s集群动态创建的Pod，默认不会同步你本地的配置文件，Executor读取的是镜像中自带的log4j.properties，该文件的root级别默认是INFO，这是最常见的原因。
2. Spark内置日志覆盖逻辑：Spark 3.x默认开启了Executor端root日志级别的强制覆盖，默认值为INFO，该逻辑优先级高于log4j.properties配置文件，即使你把正确的配置文件放到了Executor路径中，也可能被该逻辑覆盖为INFO。

快速验证步骤 #

你可以先进入运行中的Executor Pod，执行cat /opt/log4j.properties查看配置文件内容：

• 如果rootLogger一行是INFO，说明是配置文件未同步的问题
• 如果rootLogger一行是WARN，说明是Spark内置覆盖逻辑导致的

对应解决方法 #

• 方法一：直接通过Spark参数设置日志级别（无需修改配置文件/镜像，最便捷）
  在spark-submit命令中新增以下配置即可覆盖Executor默认日志级别：

  spark-submit  \
  --master k8s://..  \
  --deploy-mode client \
  --conf spark.driver.extraJavaOptions='-Dlog4j.debug=true -Dlog4j.configuration=file:///opt/log4j.properties'\
  --conf spark.executor.extraJavaOptions='-Dlog4j.debug=true -Dlog4j.configuration=file:///opt/log4j.properties'\
  --conf spark.executor.log.level=WARN \
  --conf spark.executor.log.overrideRootLogger=true \
  --class org.log4jTestRunner \
  logger-test-1.0.jar
  

• 方法二：同步自定义配置文件到Executor Pod
  如果你需要使用完整的自定义log4j配置，不只修改root级别，可以通过ConfigMap挂载的方式将本地配置注入Executor：

  1. 先将本地log4j.properties创建为K8s ConfigMap：

  kubectl create configmap spark-log4j-config --from-file=log4j.properties=/本地实际路径/log4j.properties
  

  2. 在spark-submit命令中新增挂载配置，同时关闭内置覆盖逻辑：

  --conf spark.kubernetes.executor.volumes.configMap.spark-log4j-config.mount.path=/opt \
  --conf spark.kubernetes.executor.volumes.configMap.spark-log4j-config.name=spark-log4j-config \
  --conf spark.executor.log.overrideRootLogger=false
  

• 方法三：修改基础镜像
  如果你所有Spark任务都需要统一的日志配置，可以直接将修改后的log4j.properties打到你使用的Spark基础镜像的/opt目录下，后续所有Executor启动都会默认加载该配置，不需要每次提交任务单独配置。

内容的提问来源于stack exchange，提问作者user13339003