You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Intellij中Spark Scala项目Unresolved dependencies path报错解决

IntelliJ开发Spark Scala项目「Unresolved dependencies path」依赖报错解决方案

首先查看报错日志即可定位具体问题,常见错误场景如下:
当你在sbt配置中使用如下依赖写法时:

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.1.2"

会返回类似如下的仓库访问报错:

not found: https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.13/3.1.2/spark-core_2.13-3.1.2.pom

报错原因

sbt依赖语法中的%%会自动匹配当前项目使用的Scala版本,将其拼接在依赖包名后拉取对应包,但你指定的Spark版本不存在适配该Scala版本的官方依赖包,因此拉取失败。

解决方法

将%%替换为%,手动在依赖包名后追加Spark对应适配的Scala版本后缀即可,适配Spark 3.1.2的参考配置如下:

libraryDependencies += "org.apache.spark" % "spark-sql_2.12" % "3.1.2" % "provided"
libraryDependencies += "org.apache.spark" % "spark-core_2.12" % "3.1.2" % "provided"

补充说明:如果使用其他Spark版本,只需确认该版本官方适配的Scala版本,对应修改依赖包名后缀的Scala版本号即可正常拉取依赖。

内容的提问来源于stack exchange,提问作者JxD

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.06 22:45:00