Yarn集群中如何在Log4j日志中使用Spark应用名称？

1. 你的操作问题所在 #

log4j配置文件的加载时机早于SparkContext的初始化：

• 当log4j解析log4j.xml时，Spark还未完成spark.app.name和spark.app.id的设置，这两个变量还没被注入到JVM系统属性中，直接用${spark.app.name}自然会得到空值。
• Spark的应用标识变量是在SparkContext启动后才写入系统属性的，而log4j的配置在应用启动初期就已经完成解析，根本无法获取到这些动态生成的变量。

2. 可行的日志记录Spark应用名称的方法 #

方法一：代码中动态修改log4j布局 #

在SparkContext初始化完成后，通过log4j的API动态更新日志格式，将应用名称注入进去：

// 初始化SparkContext
SparkConf conf = new SparkConf().setAppName("MyApp");
JavaSparkContext sc = new JavaSparkContext(conf);
String appName = sc.getConf().get("spark.app.name");

// 获取根Logger（或你的自定义Logger）
Logger rootLogger = Logger.getRootLogger();
Layout layout = rootLogger.getAppender("console").getLayout();
if (layout instanceof PatternLayout) {
    PatternLayout patternLayout = (PatternLayout) layout;
    // 修改日志格式，在原有格式前添加应用名称
    String newPattern = String.format("[%s] %s", appName, patternLayout.getConversionPattern());
    patternLayout.setConversionPattern(newPattern);
}

Scala代码逻辑完全一致。注意：这种方法仅对Driver端日志生效，Executor端需要单独处理。

方法二：使用MDC（映射诊断上下文） #

MDC可以在当前线程的上下文中存储键值对，log4j通过%X{key}就能引用这些值：

1. Driver端设置：SparkContext初始化后，将应用名称放入MDC：

import org.apache.log4j.MDC;

SparkContext sc = new SparkContext(conf);
MDC.put("spark.app.name", sc.appName());

2. Executor端设置：Executor是独立进程，需要在任务执行前初始化MDC，可通过广播变量传递应用名称，在每个任务开头设置：

Broadcast<String> appNameBroadcast = sc.broadcast(sc.appName());

rdd.map(record -> {
    // 每个Executor线程初始化MDC
    MDC.put("spark.app.name", appNameBroadcast.value());
    // 业务逻辑代码
    return record;
});

然后在log4j.xml的PatternLayout中添加%X{spark.app.name}：

<appender name="console" class="org.apache.log4j.ConsoleAppender">
    <layout class="org.apache.log4j.PatternLayout">
        <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} [%X{spark.app.name}] %-5p %c{1}:%L - %m%n"/>
    </layout>
</appender>

方法三：提交前动态生成log4j配置 #

准备一个log4j.xml.template模板文件，用占位符代替应用名称：

<layout class="org.apache.log4j.PatternLayout">
    <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} [%APP_NAME%] %-5p %c{1}:%L - %m%n"/>
</layout>

在spark-submit的脚本中，先替换占位符为实际应用名称，再提交：

# 替换模板中的占位符
APP_NAME="MySparkJob"
sed "s/%APP_NAME%/$APP_NAME/g" log4j.xml.template > log4j.xml

# 提交应用
spark-submit --name $APP_NAME --conf spark.driver.extraClassPath=./ \
--class com.example.MyApp myapp.jar

这种方法适合脚本化批量提交的场景，能保证log4j加载时就有正确的应用名称。

方法四：利用Spark的系统属性传递 #

在spark-submit时，通过--conf将应用名称传入JVM系统属性，让log4j直接读取：

spark-submit --name "MySparkJob" \
--conf spark.driver.extraJavaOptions="-Dspark.app.name=MySparkJob" \
--conf spark.executor.extraJavaOptions="-Dspark.app.name=MySparkJob" \
--class com.example.MyApp myapp.jar

然后在log4j.xml中使用${spark.app.name}：

<param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} [%spark.app.name%] %-5p %c{1}:%L - %m%n"/>

注意：需要手动同步--name和-Dspark.app.name的值，避免出现不一致。

内容的提问来源于stack exchange，提问作者abdul Kareem