Scala+Spark Maven项目添加maven-assembly-plugin打包报空指针错误

我之前在做Spark+Scala的Maven项目时，也碰到过maven-assembly-plugin 2.5版本抛出NullPointerException的问题，结合当时的排查经验，给你几个可行的解决方向：

• 检查assembly插件的配置完整性
  很多时候NPE是因为插件的配置存在遗漏或错误，比如：

  • 如果你自定义了assembly descriptor文件，要确保里面的<dependencySets>、<fileSets>配置没有拼写错误，也不要引用不存在的路径或依赖范围。比如Spark的核心依赖通常设为provided，但第三方Jar要设为runtime或compile才能被打包进去。
  • 如果用默认的jar-with-dependencies descriptor，要确认插件配置里正确引用了它，并且指定了主类（如果需要）。示例配置如下：

    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-assembly-plugin</artifactId>
      <version>2.5</version>
      <configuration>
        <descriptorRefs>
          <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
        <archive>
          <manifest>
            <mainClass>com.your.project.Main</mainClass>
          </manifest>
        </archive>
      </configuration>
      <executions>
        <execution>
          <id>make-assembly</id>
          <phase>package</phase>
          <goals>
            <goal>single</goal>
          </goals>
        </execution>
      </executions>
    </plugin>
    

• 升级插件版本
  maven-assembly-plugin 2.5版本存在一些已知的NPE bug，尤其是在处理Scala项目的复杂依赖树时。建议直接升级到更稳定的新版本，比如3.3.0，大部分旧版本的兼容性问题都会被修复。只需要修改pom里的插件版本号即可，无需大幅调整配置逻辑。

• 验证Scala与Maven插件的兼容性
  确保你的Scala版本和maven-scala-plugin版本匹配，比如Scala 2.12需要搭配3.2.2及以上版本的maven-scala-plugin。版本不兼容可能导致依赖解析异常，进而触发assembly插件的NPE。

• 清理Maven缓存后重试
  本地Maven仓库的依赖缓存损坏也可能引发奇怪的构建问题。执行命令：

  mvn clean install -U
  

  强制清理构建产物并更新依赖，之后再执行mvn package试试。

• 排查特殊依赖的问题
  可以尝试暂时移除部分第三方Jar，逐个重新添加并打包，定位是否是某个特定依赖导致的问题。有些依赖的pom文件格式异常，会导致assembly插件解析时出现空指针。

内容的提问来源于stack exchange，提问作者Thomas Tan