解决Spark中多个StaticLoggerBinder绑定冲突的正确方案

核心结论 #

必须添加log4j-to-slf4j和log4j-1.2-api-to-slf4j桥接依赖，才能让Spark内部的Log4J日志请求正确路由到你的Logback实现。

原因分析 #

• Spark 3.3.0内部确实直接使用Log4J API（包括log4j-api和兼容老版本的log4j-1.2-api）输出日志，而非直接调用SLF4J。
• 你之前仅排除了log4j-slf4j-impl（Log4J的SLF4J绑定，会与Logback冲突），但Spark自身的Log4J API调用并未被转发到SLF4J，这会引发两类问题：
  • Spark的日志无法按照你配置的Logback规则输出（比如格式、级别、输出目标）
  • 极端情况下可能出现日志静默或依赖冲突导致的异常

具体Maven依赖配置 #

在pom.xml中添加以下依赖，版本需与Spark 3.3.0默认引入的Log4J版本（2.17.1）保持一致：

<!-- 桥接Log4J 2.x API到SLF4J -->
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-to-slf4j</artifactId>
    <version>2.17.1</version>
</dependency>

<!-- 桥接Log4J 1.x API到SLF4J -->
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-1.2-api-to-slf4j</artifactId>
    <version>2.17.1</version>
</dependency>

额外注意事项 #

• 无需保留任何Log4J原生实现（如log4j-core），桥接依赖会将所有Log4J API调用转交给SLF4J，最终由Logback处理。
• 可通过Maven命令mvn dependency:tree检查依赖树，确保没有意外引入的Log4J绑定或实现。

内容的提问来源于stack exchange，提问作者Garret Wilson