如何通过Maven覆盖Databricks集群内置的com.typesafe:config旧版本依赖

这个问题在Databricks环境里挺常见的——集群自带的旧版本com.typesafe:config（1.2.1）会通过类加载优先级覆盖你Jar包中打包的1.3.4版本，导致调用新版本新增方法时失败。下面是几个可靠的解决方案，按推荐程度排序：

方案1：使用Maven Shade插件重命名依赖包（最推荐） #

Shading的核心思路是把你依赖的com.typesafe.config包重命名成一个独有的路径，这样就不会和集群自带的旧版本产生类名冲突了。具体步骤如下：

1. 在你的Maven pom.xml中添加maven-shade-plugin配置：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.4.1</version> <!-- 使用最新稳定版本 -->
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <relocations>
                            <relocation>
                                <pattern>com.typesafe.config</pattern>
                                <!-- 替换成你项目独有的包路径，比如你的groupId前缀 -->
                                <shadedPattern>your.project.groupid.shaded.com.typesafe.config</shadedPattern>
                            </relocation>
                        </relocations>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

2. 重新执行mvn clean package打包，生成的Shaded Jar会包含重命名后的Typesafe Config类，集群的旧版本就不会和它冲突了。

方案2：修改Databricks集群的类加载顺序 #

如果你的团队有权限修改集群配置，可以调整Spark的类加载优先级，让用户上传的Jar包优先于集群自带依赖加载：

1. 打开Databricks集群的Advanced Options（高级选项）
2. 切换到Spark标签页，在Spark config中添加以下配置：

spark.driver.userClassPathFirst true
spark.executor.userClassPathFirst true

这个配置会让Driver和Executor优先加载用户Jar中的类，而不是集群自带的依赖。不过要注意，这个设置可能影响其他依赖的兼容性，建议在测试集群验证后再推广到生产环境。

方案3：在Job配置中指定依赖优先级 #

如果不想修改集群全局配置，可以在单个Job的运行参数中指定优先加载你的Jar：

1. 在创建/编辑Job时，找到Advanced Options
2. 在Spark submit parameters中添加：

--jars /dbfs/path/to/your/jar/file.jar --conf spark.driver.extraClassPath=/dbfs/path/to/your/jar/file.jar --conf spark.executor.extraClassPath=/dbfs/path/to/your/jar/file.jar

确保把路径替换成你上传Jar到DBFS的实际路径。这种方法只对当前Job生效，适合临时测试或特定Job的需求。

内容的提问来源于stack exchange，提问作者pgruetter