求助：Scala+Spark分布式程序运行时出现NoClassDefFoundError错误

问题根源 #

该错误是因为项目缺失netlib-java系列依赖包——breeze线性代数库在执行LU分解、行列式计算等操作时，依赖netlib提供的LAPACK实现类，而运行时无法找到该类。

解决方案 #

1. 添加完整依赖（sbt配置示例） #

在build.sbt中添加以下依赖项：

libraryDependencies ++= Seq(
  "org.scalanlp" %% "breeze" % "2.1.0",
  "org.scalanlp" %% "breeze-natives" % "2.1.0" % Runtime,
  "dev.ludovic.netlib" % "lapack" % "3.2.2",
  "dev.ludovic.netlib" % "lapack-native-system" % "3.2.2" % Runtime
)

• breeze-natives会自动关联netlib核心依赖，简化配置
• lapack-native-system提供系统级原生实现，性能更优，但需要集群所有节点具备对应本地库

2. 纯Java实现适配分布式环境 #

如果集群无法部署本地原生库，改用纯Java版LAPACK实现，避免环境依赖：

libraryDependencies ++= Seq(
  "org.scalanlp" %% "breeze" % "2.1.0",
  "dev.ludovic.netlib" % "lapack" % "3.2.2",
  "dev.ludovic.netlib" % "lapack-java" % "3.2.2" % Runtime
)

纯Java实现无需依赖本地系统库，适配性更强，适合跨节点的分布式场景。

3. Spark分布式部署注意点 #

• 确保所有Worker节点能获取到依赖包：可以通过spark-submit --jars参数携带依赖jar，或者用sbt-assembly打包成胖jar（fat jar）
• 打包时注意处理依赖冲突，尤其是netlib相关包，避免重复打包引发异常

内容的提问来源于stack exchange，提问作者Reda20