CI系统中多Maven进程共享本地仓库并发构建失败求助

问题背景 #

搭建CI系统时，多个项目使用共享本地仓库并发构建出现错误。为复现问题，在Mac OS本地编写脚本模拟多Maven进程并发场景，脚本内容如下：

task(){
    cd "$1"; pwd;
    mvn -gs /Users/xx/settings-pre.xml clean package -Dmaven.repo.local=/Users/xx/.m2/repository -DskipTests -e -U
}

## clean local repo before concurrent build
rm -rf /Users/xx/.m2/repository

## set maven env
source  ~/newwork/script/set_maven_3.5.0.sh

## 10 identical projects in current directory, build concurrently
for d in ./*/;  do
    task "$d" &
done

已尝试两种方案均失败：

1. Maven 3.5.0中使用Takari扩展，并发构建仍报错（错误日志：Takari扩展执行错误）
2. Maven 3.9.0的named lock功能，执行命令如下依旧失败（错误日志：Named Lock执行错误）

mvn -gs /Users/ninan/work/apache-maven-3.8.5/conf/settings-pre.xml clean package -Dmaven.repo.local=/Users/ninan/.m6/repository -DskipTests -e -U -Daether.syncContext.named.factory=file-lock -Daether.syncContext.named.nameMapper=file-gav -Daether.syncContext.named.time=120

待解决问题 #

1. 本地测试方法是否存在问题（比如named lock的使用方式错误）？
2. 若测试方法无误，如何解决并发构建失败问题？

一、本地测试方法问题检查 #

1. Named Lock参数与版本不匹配 #

你使用的是Maven 3.9.0，但命令中指定的settings.xml属于Maven 3.8.5，可能导致配置加载异常。此外需注意：

• Daether.syncContext.named.time单位为秒，120秒合理，但需确保仓库目录有完整读写权限
• 确认Maven 3.9.0默认集成的resolver-named-locks组件未被自定义依赖覆盖

2. 测试场景过于极端 #

一次性启动10个完全相同的项目并发构建，会触发大量相同依赖的并发下载/写入，这种场景比实际CI环境的锁竞争压力大得多，容易放大配置缺陷。

3. 仓库清理时机不合理 #

脚本先清空本地仓库再启动所有任务，所有进程会同时开始下载依赖，瞬间触发峰值锁竞争，这是导致失败的重要诱因。实际CI场景中仓库会保留依赖缓存，锁竞争压力更小。

二、解决方案 #

1. 修正Named Lock配置（适用于Maven 3.9+） #

• 统一Maven版本与配置文件路径：将命令中的/Users/ninan/work/apache-maven-3.8.5/conf/settings-pre.xml改为Maven 3.9.0的配置路径
• 补充锁文件存储目录参数：添加-Daether.syncContext.named.lockDir=/Users/ninan/.m6/repository/.locks，确保该目录可读写
• 逐步调整并发数：先从2-3个项目开始测试，确认稳定后再增加到10个

2. 正确配置Takari本地仓库扩展 #

Takari扩展需在配置中显式声明，而非仅依赖环境：

1. 在全局settings.xml中添加扩展配置：

<build>
  <extensions>
    <extension>
      <groupId>io.takari.maven</groupId>
      <artifactId>takari-local-repository</artifactId>
      <version>0.12.0</version>
    </extension>
  </extensions>
</build>

2. 确认Maven 3.5.0环境中已安装该扩展（可通过mvn dependency:tree检查）
3. 调整脚本逻辑：不再每次清空仓库，保留已有依赖缓存，减少并发下载压力

3. CI系统层面优化 #

• 改用分布式缓存仓库：使用Nexus或Artifactory作为公共缓存，所有CI任务从缓存拉取依赖，避免本地仓库锁竞争
• 独立本地仓库：给每个CI任务分配独立的本地仓库目录，构建完成后按需同步到共享仓库（需处理冲突）
• 控制并发数量：根据CI节点的CPU、内存资源调整并发构建数，避免过度并发导致资源耗尽

内容的提问来源于stack exchange，提问作者HHHHNNNNNNIIIII