如何在Spark Kubernetes集群中用应用日志配置覆盖集群级配置？

核心问题排查：Log4j2系统参数误用 #

你当前使用的-Dlog4j.configuration是Log4j 1.x的系统参数，Log4j 2.x对应的正确参数是-Dlog4j.configurationFile，这是配置未生效的关键原因之一。

正确配置步骤 #

1. 修正Spark Submit的Java参数

根据配置文件的存放方式，选择对应的参数配置：

• 配置文件打包在应用Jar中（src/main/resources下，打包后位于Jar根目录）：
  直接通过类路径引用配置文件，确保Driver和Executor能从Jar中读取：

  spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configurationFile=classpath:log4j2.xml" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configurationFile=classpath:log4j2.xml" \
    --class com.your.package.YourSpringBootMainClass \
    your-app.jar
  

• 单独分发配置文件（适合不想打包进Jar的场景）：
  用Spark的--files参数将配置文件分发到所有Executor的工作目录，此时直接指定文件名即可：

  spark-submit \
    --files /path/to/local/log4j2.xml \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configurationFile=log4j2.xml" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configurationFile=log4j2.xml" \
    --class com.your.package.YourSpringBootMainClass \
    your-app.jar
  

2. 确保Spring Boot与Log4j2兼容

如果你的Spring Boot应用默认使用Logback，需要在依赖中排除Logback，引入Log4j2 Starter：
Maven示例：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-logging</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-log4j2</artifactId>
</dependency>

3. 验证配置加载有效性

在应用启动代码中添加日志配置路径打印，确认是否加载了目标文件：

import org.apache.logging.log4j.core.LoggerContext;

// 应用启动时执行
LoggerContext context = (LoggerContext) org.apache.logging.log4j.LogManager.getContext(false);
System.out.println("当前Log4j2配置文件路径: " + context.getConfiguration().getConfigurationSource().getLocation());

额外注意事项 #

• Bitnami Spark集群的spark-defaults.conf可能存在默认日志参数，Spark Submit的--conf参数优先级更高，会覆盖集群级配置；
• Kubernetes环境下，使用--files分发配置是最可靠的方式，避免因节点动态创建导致的文件路径不可访问问题。

内容的提问来源于stack exchange，提问作者adesai