Intellij中Spark Scala项目Unresolved dependencies path报错解决
IntelliJ开发Spark Scala项目「Unresolved dependencies path」依赖报错解决方案
首先查看报错日志即可定位具体问题,常见错误场景如下:
当你在sbt配置中使用如下依赖写法时:
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.1.2"
会返回类似如下的仓库访问报错:
not found: https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.13/3.1.2/spark-core_2.13-3.1.2.pom
报错原因
sbt依赖语法中的%%会自动匹配当前项目使用的Scala版本,将其拼接在依赖包名后拉取对应包,但你指定的Spark版本不存在适配该Scala版本的官方依赖包,因此拉取失败。
解决方法
将%%替换为%,手动在依赖包名后追加Spark对应适配的Scala版本后缀即可,适配Spark 3.1.2的参考配置如下:
libraryDependencies += "org.apache.spark" % "spark-sql_2.12" % "3.1.2" % "provided" libraryDependencies += "org.apache.spark" % "spark-core_2.12" % "3.1.2" % "provided"
补充说明:如果使用其他Spark版本,只需确认该版本官方适配的Scala版本,对应修改依赖包名后缀的Scala版本号即可正常拉取依赖。
内容的提问来源于stack exchange,提问作者JxD
相关产品推荐
相关产品推荐

