解决通过父工程导入依赖时Maven Java项目的版本冲突问题

首先明确：Maven编译阶段没法为不同类指定不同版本的依赖，因为Maven的编译classpath是全局唯一的，同一项目下只能生效一个版本的Spark依赖。但可以通过类加载隔离、模块拆分等方式解决运行时的版本冲突问题，让项目A用旧版Spark、项目B用新版Spark各自正常运行。

以下是可行的具体方案：

1. 项目模块拆分 #

把项目拆分为两个独立模块，通过接口解耦，各自维护自己的Spark依赖：

• 新建module-a-wrapper模块：仅依赖项目A和它所需的旧版Spark，负责封装项目A的功能，对外提供不依赖Spark具体实现的接口。
• 原项目B改为module-b-core模块：依赖新版Spark，通过调用module-a-wrapper提供的接口使用项目A的功能，同时在依赖module-a-wrapper时排除旧版Spark依赖，避免冲突。
• 父工程统一管理这两个模块，确保各自的classpath独立，编译时各自使用对应版本的Spark，运行时也不会互相干扰。

2. 使用Maven Shade插件重命名包 #

通过Shade插件将项目A依赖的旧版Spark包名重命名，彻底隔离新旧版本的Spark类：

• 在封装项目A的模块（比如上述module-a-wrapper）的pom.xml中配置Shade插件，将旧版Spark的包路径重命名（例如把org.apache.spark改为org.apache.spark.old）：

  <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-shade-plugin</artifactId>
      <version>3.5.1</version>
      <executions>
          <execution>
              <phase>package</phase>
              <goals>
                  <goal>shade</goal>
              </goals>
              <configuration>
                  <relocations>
                      <relocation>
                          <pattern>org.apache.spark</pattern>
                          <shadedPattern>org.apache.spark.old</shadedPattern>
                      </relocation>
                  </relocations>
              </configuration>
          </execution>
      </executions>
  </plugin>
  

• 打包后，项目A的类会自动引用重命名后的旧版Spark类，和项目B使用的新版Spark类处于不同包路径，完全避免类加载冲突。

3. 运行时自定义类加载器隔离 #

通过自定义类加载器为项目A单独加载旧版Spark的jar包：

• 编写代码创建URLClassLoader，加载旧版Spark的jar文件，然后用这个类加载器加载项目A的类；项目B的类则使用系统默认类加载器加载新版Spark。
• 这种方式需要调整项目B调用项目A的代码逻辑，确保项目A的类实例由自定义类加载器创建，避免跨类加载器的类型转换异常。

注意事项 #

• 编译阶段要确保module-a-wrapper使用旧版Spark编译，module-b-core使用新版Spark，父工程不要在<dependencyManagement>中统一指定Spark版本，让各模块自行声明。
• 如果项目A和项目B需要传递Spark相关对象，尽量使用通用接口而非具体实现类，避免类加载冲突导致的ClassCastException。

内容的提问来源于stack exchange，提问作者clipper1995