K8s环境下Spark应用无法通过log4j.properties禁用Kafka日志

你的log4j配置存在几处错误，导致Kafka相关INFO日志仍会输出到Kubernetes驱动Pod的日志中：

1. 日志级别配置格式错误 #

你写的log4j.logger.kafka=ERROR, WARN这类格式不符合Log4j规范。正确格式应为log4j.logger.包名/类名=日志级别, 追加器列表，日志级别只能指定一个（级别优先级从高到低：OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL）。若只想保留ERROR及以上级别日志，只需指定ERROR即可，无需同时写多个级别。

2. 未覆盖所有产生日志的Kafka类路径 #

你看到的AbstractCoordinator、Metadata等类对应的包路径未在配置中覆盖：

• AbstractCoordinator、SubscriptionState属于org.apache.kafka.clients.consumer.internals
• Metadata属于org.apache.kafka.clients
  这些路径的日志级别未被显式设置，会继承父级或rootLogger的配置，导致INFO日志输出。

3. 未关闭Kafka Logger的日志附加性 #

默认情况下，子Logger会继承父Logger的追加器（appender）。若不想让Kafka日志输出到rootLogger的stdout/stderr，需为所有Kafka相关Logger设置additivity=false，避免日志重复输出。

修正后的log4j.properties配置 #

log4j.rootLogger=INFO, stdout, stderr, kafkaAppender
log4j.logger.Client=INFO, stdout, stderr
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Threshold=INFO
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.immediateFlush=true

# 统一配置Kafka相关日志级别，关闭附加性
log4j.logger.kafka=ERROR
log4j.additivity.kafka=false

log4j.logger.org.apache.kafka=ERROR
log4j.additivity.org.apache.kafka=false

log4j.logger.org.apache.kafka.clients=ERROR
log4j.additivity.org.apache.kafka.clients=false

log4j.logger.org.apache.kafka.clients.producer=ERROR
log4j.additivity.org.apache.kafka.clients.producer=false

log4j.logger.org.apache.kafka.clients.consumer=ERROR
log4j.additivity.org.apache.kafka.clients.consumer=false

log4j.logger.org.apache.kafka.clients.consumer.internals=ERROR
log4j.additivity.org.apache.kafka.clients.consumer.internals=false

log4j.logger.org.apache.kafka.streams=ERROR
log4j.additivity.org.apache.kafka.streams=false

额外检查项 #

• 确认Spark应用正确加载配置：在Kubernetes环境中，需通过--files log4j.properties将配置文件传递给驱动和Executor，同时设置：

  spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties
  spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties
  

• 若你的Spark版本使用Log4j2而非Log4j1，需使用对应的XML或properties配置格式，上述配置仅适用于Log4j1。

内容的提问来源于stack exchange，提问作者Panda