运行依赖Neo4j Jar的Spark Scala程序时出现NoClassDefFoundError

你遇到的NoClassDefFoundError通常是因为Spark运行时找不到Neo4j Spark Connector的相关类，结合你的配置来看，大概率是打包方式或者依赖传递的问题，下面给你几个针对性的解决办法：

方法一：用sbt-assembly打包含所有依赖的Fat Jar #

sbt package默认只会打包你的业务代码，不会把依赖的第三方jar包（比如neo4j-spark-connector）合并进去，这就导致Spark运行时找不到对应的类。你需要用sbt-assembly插件来生成包含所有依赖的"胖jar"：

1. 首先在项目根目录的project/plugins.sbt文件中添加assembly插件（版本可根据你的sbt版本调整）：

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.15.0")

2. 回到build.sbt，可以添加配置避免依赖冲突（比如重复的日志类）：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

3. 执行打包命令：

sbt assembly

这个命令会在target/scala-<你的Scala版本>目录下生成一个带-assembly后缀的jar包，比如testApp-assembly-0.1.jar，用这个jar来执行spark-submit即可。

方法二：Spark Submit时显式指定依赖包 #

如果你不想打胖jar，也可以在spark-submit的时候直接指定Neo4j Connector的依赖：

方式A：用--jars参数指定本地jar #

你已经持有neo4j-spark-connector-2.0.0-M2.jar，可以这样执行：

spark-submit --class "testApp" --jars /你的jar实际路径/neo4j-spark-connector-2.0.0-M2.jar a.jar

方式B：用--packages参数从仓库自动拉取 #

直接让Spark从配置的仓库下载并加载依赖：

spark-submit --class "testApp" --packages neo4j-contrib:neo4j-spark-connector:2.0.0-M2 a.jar

这个方式会自动处理依赖的下载和传递，比较省心。

方法三：检查版本兼容性 #

Neo4j Spark Connector的版本和Spark版本必须匹配，2.0.0-M2版本对应的是Spark 2.x系列（比如Spark 2.0~2.3），如果你现在用的是Spark 3.x，必然会出现类找不到的问题。你需要：

• 确认你的Spark版本，选择对应的Connector版本（比如Spark 3.x需要用Neo4j Spark Connector 4.x及以上版本）
• 如果必须使用2.0.0-M2，那就确保你的Spark环境是2.x版本。

内容的提问来源于stack exchange，提问作者Litchy