Spark从2.2.1升级至2.3后Ivy配置仓库无法解析问题咨询

我之前踩过Spark从2.2.1升级到2.3版本时的这个依赖解析坑，刚好能给你理清楚问题根源和解决办法。

问题根源 #

Spark 2.3版本对依赖解析逻辑做了重大调整：

• 2.2.1及更早版本默认使用Ivy处理依赖，所以spark.jars.ivySettings的配置会被完全遵循
• 2.3版本引入了新的默认Maven依赖解析器，即使你指定了Ivy配置，它也会优先走内置的Maven逻辑，甚至会默认去调用Maven Central，这就导致你的私有仓库配置被忽略，无网络环境下直接失败
• spark.jars.repositories参数只是添加额外仓库，但并没有禁用默认的Maven Central，所以还是会触发外网请求

解决方案 #

要彻底解决这个问题，需要强制Spark使用Ivy解析依赖，同时确保Ivy配置里只包含你的私有仓库：

1. 配置自定义Ivy设置文件
   创建一个ivysettings.xml，只配置你的私有仓库，完全移除Maven Central相关配置：

<ivysettings>
  <!-- 设置默认解析器为私有仓库 -->
  <settings defaultResolver="private-maven-repo"/>
  <resolvers>
    <!-- 私有仓库配置，确保m2compatible设为true以支持Maven格式仓库 -->
    <ibiblio 
      name="private-maven-repo" 
      m2compatible="true" 
      root="http://你的私有仓库地址/maven2/"
    />
  </resolvers>
</ivysettings>

2. 提交作业时指定关键配置
   提交Spark作业时，需要同时设置以下三个参数：

spark-submit \
  --conf spark.jars.ivySettings=/本地路径/ivysettings.xml \
  --conf spark.jars.useIvy=true \
  --conf spark.jars.repositories=http://你的私有仓库地址/maven2/ \
  --class com.yourcompany.YourJobMainClass \
  your-job-jar-file.jar

• spark.jars.useIvy=true：这个是2.3版本新增的核心参数，强制Spark切换回Ivy依赖解析器，这样你的自定义Ivy配置才会生效
• 确保ivysettings.xml在所有集群节点都能访问到（如果是集群模式，可以把文件放到HDFS路径，比如hdfs:///path/to/ivysettings.xml）

额外注意事项 #

• 检查私有仓库是否包含作业所需的所有依赖（包括传递依赖），因为现在完全禁用了Maven Central，任何缺失的依赖都会导致作业失败
• 确认私有仓库的访问权限，确保Spark作业运行的用户有读取权限
• 如果你的作业使用了--jars参数指定依赖，也要确保这些JAR包都存在于私有仓库中

内容的提问来源于stack exchange，提问作者Purple