Scala Spark项目无法导入xgboost4j-spark的XGBoostClassifier问题

从你的描述来看，核心问题是项目运行时没有正确加载到xgboost4j-spark的依赖——虽然你已经在build.sbt中添加了依赖，但可能存在Scala版本匹配或者依赖配置的细节疏漏。以下是具体的解决步骤：

1. 修正build.sbt中的依赖配置 #

你当前的xgboost4j-spark依赖使用了%符号，这不会自动匹配你的Scala版本。对于Scala项目，应该使用%%让sbt自动追加Scala版本后缀（比如_2.11），确保拉取到适配你Scala 2.11.8的xgboost4j-spark包：

libraryDependencies += "ml.dmlc" %% "xgboost4j-spark" % "0.82-SNAPSHOT"
libraryDependencies += "ml.dmlc" %% "xgboost4j" % "0.82-SNAPSHOT"

如果上述方式仍有问题，也可以直接指定带Scala版本的artifactId：

libraryDependencies += "ml.dmlc" % "xgboost4j-spark_2.11" % "0.82-SNAPSHOT"
libraryDependencies += "ml.dmlc" % "xgboost4j_2.11" % "0.82-SNAPSHOT"

2. 清理sbt缓存并重新拉取依赖 #

有时候sbt的缓存会导致依赖没有正确更新，执行以下命令清理缓存并重新拉取：

sbt clean
sbt update

之后重新构建项目确认依赖生效：

sbt compile

3. 确保运行时包含完整依赖 #

如果是通过sbt run运行项目，sbt会自动处理依赖；但如果是打包成独立jar运行，需要确保xgboost4j-spark的依赖被包含在内。可以使用sbt-assembly插件构建fat jar：

首先在project/plugins.sbt中添加插件：

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.10")

然后在build.sbt中添加assembly的冲突处理规则：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

最后构建包含所有依赖的fat jar：

sbt assembly

用生成的jar文件运行，就能确保依赖不会缺失。

4. 验证导入语句的正确性 #

你写的导入语句import ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier是完全正确的——这个类确实只存在于xgboost4j-spark模块中，只要依赖正确加载，导入就不会再报错。

内容的提问来源于stack exchange，提问作者SSh