如何在Scala单元/功能测试中屏蔽Kafka Streams等第三方日志？

问题背景 #

使用ScalaTest + log4j + sbt构建项目，测试Kafka Streams代码时，第三方库输出大量INFO、WARN级日志，导致测试结果被淹没，难以阅读。同时已配置的log4j.properties未生效，日志未写入指定文件。

冗余日志示例：

- should filter invalid HelmData
Preprocessor.create_topology
[pool-1-thread-1-ScalaTest-running-EntityResolutionAppTest] WARN org.apache.kafka.streams.processor.internals.StateDirectory - Using an OS temp directory in the state.dir property can cause failures with writing the checkpoint file due to the fact that this directory can be cleared by the OS. Resolved state.dir: [/var/folders/mk/42jzsvb14jn_q5czv6cp6tcw0000gn/T//kafka-streams]
[pool-1-thread-1-ScalaTest-running-EntityResolutionAppTest] INFO org.apache.kafka.streams.state.internals.RocksDBTimestampedStore - Opening store helmDataByIdStateStore in regular mode
[pool-1-thread-1-ScalaTest-running-EntityResolutionAppTest] INFO org.apache.kafka.streams.state.internals.RocksDBTimestampedStore - Opening store KSTREAM-AGGREGATE-STATE-STORE-0000000014 in regular mode
[pool-1-thread-1-ScalaTest-running-EntityResolutionAppTest] INFO org.apache.kafka.streams.state.internals.RocksDBTimestampedStore - Opening store customerProfileStateStore in regular mode
[pool-1-thread-1-ScalaTest-running-EntityResolutionAppTest] INFO org.apache.kafka.streams.state.internals.RocksDBTimestampedStore - Opening store KSTREAM-AGGREGATE-STATE-STORE-0000000048 in regular mode

测试输出中绿色的测试结果被红色的冗余日志覆盖，可读性极差。

解决方案 #

1. 测试时屏蔽冗余日志完全可行 #

通过配置测试专用的log4j配置文件，可以精准控制测试阶段的日志输出，屏蔽第三方库的低级别日志。

2. 创建测试专用log4j配置 #

在项目的src/test/resources目录下新建log4j.properties文件（sbt默认会优先加载测试资源目录下的配置），配置内容可选择以下两种方式：

方式一：全局屏蔽INFO/WARN，仅保留ERROR及以上日志

# 全局日志级别设为ERROR，仅输出严重错误
log4j.rootLogger=ERROR, CONSOLE

# 控制台输出配置（只保留必要的测试结果相关日志）
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.conversionPattern=%m%n

方式二：仅针对Kafka Streams包屏蔽日志

如果需要保留其他组件的日志，可单独对Kafka相关包设置日志级别：

# 全局保留DEBUG级别，仅屏蔽Kafka Streams的低级别日志
log4j.rootLogger=DEBUG, CONSOLE
log4j.logger.org.apache.kafka=ERROR
log4j.logger.org.apache.kafka.streams=ERROR

# 控制台输出配置
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.conversionPattern=%m%n

3. 修复原log4j配置不生效的问题 #

原配置未生效通常有以下原因：

• 配置文件位置错误：如果原配置放在src/main/resources，测试时会被src/test/resources下的配置覆盖；若要让生产环境生效，需放在src/main/resources，测试环境用src/test/resources的配置。
• 变量解析失败：原配置中的${log}变量可能未被正确解析，建议直接使用绝对路径，比如将log4j.appender.FILE.File=${log}/log.out改为log4j.appender.FILE.File=/tmp/log4j/log.out。
• 依赖缺失：Kafka Streams使用slf4j作为日志门面，需确保项目依赖中包含log4j的桥接包slf4j-log4j12，否则日志会默认使用其他实现（如logback）导致配置无效。在build.sbt中添加依赖：

  "org.slf4j" % "slf4j-log4j12" % "1.7.36" % Test
  

内容的提问来源于stack exchange，提问作者James Kelleher