log4j ConversionPattern中Spark环境变量usecase/usecase2不显示的问题咨询

你遇到的核心问题是：log4j初始化时，Spark的spark.yarn.appMasterEnv.usecase和spark.executorEnv.usecase还未被注入为JVM系统属性，且log4j默认无法直接读取SparkConf中的配置项。而spark.yarn.app.container.log.dir是Spark启动时自动设置的JVM系统属性，所以能被log4j正常读取。

方法一：通过JVM系统属性传递变量 #

在spark-submit时，将usecase设置为JVM系统属性，让log4j可以直接读取：

spark-submit \
  --class your.main.Class \
  --conf spark.driver.extraJavaOptions="-Dusecase=your_usecase_value" \
  --conf spark.executor.extraJavaOptions="-Dusecase=your_usecase_value" \
  your-app.jar

然后修改log4j配置的ConversionPattern：

log4j.appender.loggerId.layout.ConversionPattern=%d %p %t %c usecase=${usecase} logdir=${spark.yarn.app.container.log.dir} - %m%n

这种方式下，log4j初始化时就能读取到系统属性中的usecase值。

方法二：使用MDC（映射诊断上下文）注入变量 #

在Spark应用代码中，从SparkConf获取变量值并放入MDC，让log4j通过MDC读取：

1. 在Driver初始化时添加：

import org.apache.log4j.MDC
import org.apache.spark.SparkContext

val sc = new SparkContext()
// 从SparkConf中获取配置值
val usecase = sc.getConf.get("spark.yarn.appMasterEnv.usecase")
MDC.put("usecase", usecase)

2. 对于Executor节点，需要在任务执行前设置MDC（可以通过mapPartitions实现）：

rdd.mapPartitions { iter =>
  val usecase = SparkContext.getOrCreate().getConf.get("spark.executorEnv.usecase")
  MDC.put("usecase", usecase)
  iter.map(...)
}

3. 修改log4j配置的ConversionPattern，使用%X{usecase}读取MDC中的值：

log4j.appender.loggerId.layout.ConversionPattern=%d %p %t %c usecase=%X{usecase} logdir=${spark.yarn.app.container.log.dir} - %m%n

这种方式不需要修改提交参数，直接从SparkConf中获取配置，更贴合Spark的配置机制。

方法三：直接读取容器环境变量（针对YARN环境） #

如果spark.yarn.appMasterEnv.usecase和spark.executorEnv.usecase已经被设置为容器的环境变量，可以在log4j中使用环境变量 lookup：

log4j.appender.loggerId.layout.ConversionPattern=%d %p %t %c usecase=${env:usecase} logdir=${spark.yarn.app.container.log.dir} - %m%n

注意：这种方式需要确保log4j支持环境变量 lookup（log4j 1.x需要配置org.apache.log4j.helpers.EnvLookup，或者使用log4j 2.x的默认支持）。

内容的提问来源于stack exchange，提问作者sojim2