如何通过spark.jars.ivySettings调整Maven仓库依赖搜索顺序？

要让自定义仓库优先于本地仓库和Maven中央仓库被搜索，你可以通过编写ivysettings.xml配置文件，调整依赖解析的顺序。以下是一个极简可用的示例：

1. 编写 ivysettings.xml 文件 #

创建名为ivysettings.xml的文件，内容如下：

<ivysettings>
    <!-- 定义各个仓库 -->
    <resolvers>
        <!-- 你的自定义Maven兼容仓库 -->
        <ibiblio name="custom-repo" root="http://your-custom-repo-url/repository" m2compatible="true"/>
        
        <!-- 本地Ivy缓存仓库 -->
        <filesystem name="local">
            <ivy pattern="${user.home}/.ivy2/local/[organisation]/[module]/[revision]/[type]s/[artifact]-[revision].[ext]"/>
            <artifact pattern="${user.home}/.ivy2/local/[organisation]/[module]/[revision]/[type]s/[artifact]-[revision].[ext]"/>
        </filesystem>
        
        <!-- Maven中央仓库 -->
        <ibiblio name="central" m2compatible="true"/>
    </resolvers>

    <!-- 定义优先解析链：自定义仓库 → 本地仓库 → 中央仓库 -->
    <resolvers>
        <chain name="priority-chain" returnFirst="true">
            <resolver ref="custom-repo"/>
            <resolver ref="local"/>
            <resolver ref="central"/>
        </chain>
    </resolvers>

    <!-- 设置所有模块使用优先解析链 -->
    <modules>
        <module organisation="*" name="*" resolver="priority-chain"/>
    </modules>
</ivysettings>

2. 在Spark中指定该配置 #

提交Spark任务时，通过spark.jars.ivySettings参数指向这个配置文件：

spark-submit \
  --conf spark.jars.ivySettings=/absolute/path/to/ivysettings.xml \
  --conf spark.jars.packages=com.example:your-dependency:1.0.0 \
  your-spark-application.jar

关键说明 #

• returnFirst="true"：一旦在前面的仓库找到依赖，就停止后续搜索，确保自定义仓库的优先级
• m2compatible="true"：声明仓库是Maven格式，Spark能正确解析其中的依赖包
• 解析链的顺序直接决定了搜索优先级，把自定义仓库放在最前面即可实现需求

内容的提问来源于stack exchange，提问作者Dagang Wei