Spark Scala项目中Log4j2无法打印Debug级别日志问题排查

以下是针对你的问题的排查方向和解决方案：

1. 确认Log4j2配置文件是否被正确加载 #

• 检查Pod挂载配置：SparkOperator提交任务时，需确保log4j2.properties文件被挂载到Pod的classpath路径下（如/opt/spark/conf），或者已打包进程序的jar包资源目录。可通过kubectl exec进入Pod，查看配置文件是否存在且路径正确。
• 指定配置文件路径：在SparkApplication的CRD配置中，添加JVM参数强制指定Log4j2配置文件，示例：

  spec:
    driver:
      javaOptions: "-Dlog4j.configurationFile=file:/opt/spark/conf/log4j2.properties"
    executor:
      javaOptions: "-Dlog4j.configurationFile=file:/opt/spark/conf/log4j2.properties"
  

2. 检查Log4j2配置的日志级别 #

• 确认rootLogger级别设置为DEBUG：配置文件中需包含rootLogger.level = DEBUG，同时确保appender的过滤级别未高于DEBUG（如appender的ThresholdFilter不要设为INFO）。
• 验证包级别配置：如果代码中日志是针对特定包输出，需确认对应包的logger级别已设为DEBUG，例如：

  logger.myapp.name = com.mycompany.myapp
  logger.myapp.level = DEBUG
  

3. 排查Kubernetes日志采集与输出限制 #

• 直接查看Pod本地日志：通过kubectl logs <pod-name> -c driver查看容器内原始日志，确认DEBUG日志是否实际生成（排除日志采集工具过滤的可能）。
• 检查SparkOperator的CRD配置：确认SparkApplication资源中未设置日志输出级别限制，部分版本的SparkOperator可能通过参数默认限制日志级别为INFO。

4. 解决依赖冲突问题 #

• 检查依赖树：执行mvn dependency:tree，确认是否存在日志框架冲突（如Spark自带的log4j 1.x或logback依赖），需排除冲突依赖，示例pom配置：

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>${spark.version}</version>
    <exclusions>
      <exclusion>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
      </exclusion>
      <exclusion>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
      </exclusion>
    </exclusions>
  </dependency>
  

• 补充SLF4J绑定依赖：若使用SLF4J门面，需添加log4j-slf4j-impl依赖，确保日志请求被转发到Log4j2：

  <dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-slf4j-impl</artifactId>
    <version>2.22.1</version>
  </dependency>
  

5. 验证代码中的日志初始化 #

• 确认日志对象使用正确的类：代码中需使用Log4j2的Logger类或SLF4J门面，示例：

  // Log4j2直接使用
  import org.apache.logging.log4j.LogManager
  val logger = LogManager.getLogger(getClass)
  // SLF4J门面使用
  import org.slf4j.LoggerFactory
  val logger = LoggerFactory.getLogger(getClass)
  

内容的提问来源于stack exchange，提问作者Vikas Saxena