如何利用多远程仓库加速Git shallow clone，获取指定commit？

核心问题 #

能否从慢速远程URL创建Git浅克隆的同时，优先从其他快速URL（或本地仓库）获取已有内容？

我试过各种关键词搜索都没找到答案，若能告知这个操作的术语也十分感谢。

背景 #

我正在优化CI运行速度，其中耗时最长的步骤（部分场景占比超90%）是从远程仓库拉取依赖。但我本地已经（或可提前克隆）这些仓库，本地获取速度远快于远程。理论上可以把本地仓库作为慢速远程的前置缓存，但这需要修改Git底层逻辑，我没有精力推进。

实现难点 #

1. 流程一致性：要求构建操作在有无本地仓库的情况下完全一致，仅允许额外提供「可选的优先查询仓库列表」，不能有其他流程改动。
2. 本地仓库不全：本地仓库可能不是最新状态，拥有大部分历史但可能缺少所需的精确提交。

我尝试过两种方案，但都有缺陷：

• 给每个备用URL添加远程并依次尝试浅克隆：若所有本地仓库都没有目标提交，会从最慢的远程重新下载全部内容，哪怕其他仓库有大部分所需内容。
• 先从快速URL完整克隆（本地文件系统下为硬链接，速度极快），再从慢速远程拉取缺失内容：仅对第一个远程有效，后续添加远程并拉取时不会创建硬链接，而是深度复制（无法提前知晓所需内容）。

可行解决方案 #

1. 基础方案：使用--reference + --dissociate参数 #

这两个参数组合可以实现「优先从本地仓库复用对象，最终生成独立克隆」，完美匹配需求：

git clone --depth 1 --reference /path/to/local/repo --dissociate <慢速远程URL>

• --reference：指示Git优先从指定本地仓库复用已存在的对象，避免从远程重复下载。
• --dissociate：克隆完成后断开与本地参考仓库的关联，最终的克隆完全独立，后续操作不依赖本地仓库。
• --depth 1：实现浅克隆，可根据需求调整深度（如--depth 5获取最近5次提交）。

2. 多本地缓存的处理 #

Git不支持同时指定多个--reference，但可通过分步操作实现多缓存复用：

# 第一步：以第一个本地仓库为参考克隆
git clone --depth 1 --reference /path/to/first/local/repo temp-clone
cd temp-clone

# 添加第二个本地仓库为临时远程并拉取对象
git remote add cache2 /path/to/second/local/repo
git fetch --reference /path/to/second/local/repo cache2
git remote remove cache2

# 添加慢速远程并拉取缺失内容
git remote add origin <慢速远程URL>
git fetch origin

# 断开所有参考关联，确保克隆独立
git repack -ad

该流程会优先从所有本地仓库复用对象，仅从慢速远程下载缺失的部分。

3. CI环境通用流程 #

可将本地缓存仓库列表设为环境变量（如GIT_REFERENCE_REPOS），让脚本自动适配有无缓存的场景：

CLONE_ARGS="--depth 1"
TARGET_REPO="target-repo"
REMOTE_URL="<慢速远程URL>"

# 处理第一个缓存仓库作为初始参考
if [ -n "$GIT_REFERENCE_REPOS" ]; then
    FIRST_REF=$(echo "$GIT_REFERENCE_REPOS" | cut -d' ' -f1)
    CLONE_ARGS="$CLONE_ARGS --reference $FIRST_REF"
fi

# 执行克隆
git clone $CLONE_ARGS "$REMOTE_URL" "$TARGET_REPO"
cd "$TARGET_REPO"

# 处理剩余的缓存仓库
if [ -n "$GIT_REFERENCE_REPOS" ]; then
    REST_REFS=$(echo "$GIT_REFERENCE_REPOS" | cut -d' ' -f2-)
    for REF in $REST_REFS; do
        CACHE_NAME="cache_$(basename $REF)"
        git remote add "$CACHE_NAME" "$REF"
        git fetch --reference "$REF" "$CACHE_NAME"
        git remote remove "$CACHE_NAME"
    done
fi

# 断开参考关联，保证克隆独立
git repack -ad

此脚本在无缓存时执行普通浅克隆，有缓存时优先复用本地内容，完全符合流程一致性要求。

术语说明 #

这种利用本地仓库作为对象缓存加速克隆的操作，Git官方称之为参考克隆（Reference Clone），配合--dissociate可生成独立的克隆版本。

内容的提问来源于stack exchange，提问作者BCS