Spark集成Phantom Cassandra驱动遇日志依赖冲突问题求助

兄弟，这个坑我之前踩过一模一样的！当用Phantom Cassandra驱动对接Spark开发时，单元测试里初始化SparkContext就弹出这个扎心的错误：

Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path

问题根源 #

这俩jar包是SLF4J日志体系里的「互斥组件」：

• log4j-over-slf4j.jar 的作用是把Log4j的日志调用转接到SLF4J接口
• slf4j-log4j12.jar 则是把SLF4J的调用转接到Log4j实现
  同时出现在类路径里会触发循环依赖检测，直接导致SparkContext初始化失败。而这个冲突就是Phantom驱动的传递依赖悄悄带进来的。

具体解决步骤 #

1. 定位冲突来源

先跑个Maven命令查看完整依赖树，精准找到冲突jar的引入路径：

mvn dependency:tree -Dverbose

搜索slf4j-log4j12或log4j-over-slf4j，就能看到它们是通过Phantom的哪个子依赖进来的。

2. 排除冲突依赖

在pom.xml里给Phantom的依赖节点加上<exclusions>，把冲突jar包排除掉。通常Spark项目会保留log4j-over-slf4j（因为Spark核心本身依赖它），所以排除slf4j-log4j12即可，示例配置如下：

<dependency>
    <groupId>com.outworkers</groupId>
    <artifactId>phantom-dsl_2.12</artifactId> <!-- 注意匹配你的Scala版本后缀 -->
    <version>x.x.x</version> <!-- 替换成你实际使用的Phantom版本 -->
    <exclusions>
        <exclusion>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
    </exclusions>
</dependency>

如果排查后发现是log4j-over-slf4j多余，就反过来排除它——不过这种情况很少见，毕竟Spark本身已经依赖了前者。

3. 验证修复

重新运行单元测试，看看SparkContext能不能正常初始化了。如果还有问题，再检查下Spark相关依赖的日志配置，确保没有重复引入冲突组件。

内容的提问来源于stack exchange，提问作者Jake