Scala（SBT环境）引入hadoop-minicluster依赖无法导入MiniDFSCluster求助

我之前在测试HDFS相关代码时也碰到过一模一样的问题，分享几个亲测有效的解决办法：

1. 调整依赖配置，自动拉取源码 #

首先修改你的SBT依赖，添加withSources()来让SBT自动拉取对应依赖的源码包，同时确保坐标无误：

libraryDependencies += "org.apache.hadoop" % "hadoop-minicluster" % "3.1.0" % Test withSources()

执行sbt update命令，让SBT重新拉取依赖和配套源码。

2. 补充hadoop-hdfs的测试类依赖 #

部分版本的hadoop-minicluster依赖可能没有完整引入MiniDFSCluster所在的测试模块，这时候可以单独添加hadoop-hdfs的测试类jar包：

libraryDependencies ++= Seq(
  "org.apache.hadoop" % "hadoop-minicluster" % "3.1.0" % Test withSources(),
  "org.apache.hadoop" % "hadoop-hdfs" % "3.1.0" % Test classifier "tests" withSources()
)

这里的classifier "tests"会拉取包含MiniDFSCluster在内的HDFS测试类jar包，解决找不到类的问题。

3. 检查SBT仓库配置（备选） #

如果还是拉取不到依赖，可能是你的SBT仓库未覆盖Apache Hadoop的包源，可以在build.sbt中添加官方仓库：

resolvers += "Maven Central" at "https://repo1.maven.org/maven2/"

一般Maven Central已经包含所有Hadoop包，这一步仅作为拉取失败时的补充。

4. 验证依赖树 #

执行sbt dependencyTree命令，查看hadoop-minicluster是否已经依赖了hadoop-hdfs的测试jar。如果没有，说明必须手动添加步骤2中的依赖。

另外提个小建议：如果3.1.0版本存在兼容问题，可以尝试升级到更稳定的版本（比如3.3.4），很多旧版本的依赖缺失问题在新版本中已经修复。

内容的提问来源于stack exchange，提问作者user2602992