如何无需全量克隆实现跨网络Git私有仓库增量同步

问题根因 #

原有流程每次同步都要全量克隆、全量推送的核心原因，是同步完成后直接删除本地仓库副本，丢失了所有同步状态记录，导致下次同步无法识别哪些内容是已经传输过的，只能从零开始拉取全量数据。 #

方案一：常驻裸仓库缓存（最优，性能最高） #

该方案适合无“同步后必须清空本地所有仓库数据”强制要求的场景，单次初始化后所有同步操作均为增量传输，几十GB规模的大仓库日常同步耗时可从数小时压缩到数十秒级别。

一次性初始化（每个仓库仅执行1次） #

• 为每个待同步仓库创建专用裸镜像仓库，裸仓库无工作区，比普通克隆体积小30%左右，专为镜像同步场景设计：

  git clone --mirror <仓库B访问地址> <本地缓存目录>
  

• 为本地裸仓库添加私有网仓库A作为推送远端：

  git -C <本地缓存目录> remote add repoA <仓库A访问地址>
  

• 执行首次全量镜像推送，完成仓库A的初始化：

  git -C <本地缓存目录> push --mirror repoA
  

日常同步流程（每次收到B的变更通知执行） #

• 从仓库B增量拉取所有最新分支、标签、提交对象，--prune参数会自动同步B上已删除的引用，保证本地缓存和B状态完全一致，该步骤仅传输上次同步后新增的内容，不会重复拉取历史数据：

  git -C <本地缓存目录> remote update origin --prune
  

• 执行镜像推送到仓库A。注意：--mirror参数不代表全量传输，Git底层会自动对比本地与仓库A的对象差异，仅传输A缺失的新增对象，不会重复传输已有内容，命令如下：

  git -C <本地缓存目录> push --mirror repoA
  

• 同步完成后无需删除本地缓存，直接结束流程即可。本地缓存会作为下次同步的状态基准，磁盘占用固定为仓库实际体积，不会随同步次数增长。

优化建议 #

• 每月可定期执行git -C <本地缓存目录> gc压缩松散对象，进一步降低磁盘占用
• 多仓库并行同步时，因省去了全量克隆的重复开销，磁盘IO和网络带宽占用可下降90%以上，不会出现多任务抢占资源导致的同步卡顿
• 若有安全顾虑，可将缓存目录存放在加密磁盘分区，同步时挂载、同步后卸载即可，无需删除目录，兼顾安全与效率

方案二：增量差量包方案（适配“同步后必须删除本地副本”的合规要求） #

如果合规规则明确要求同步任务结束后，中转设备不能留存仓库B的完整内容，可采用该方案，全程仅需留存一个几KB的状态文件，不需要保留完整仓库，同步开销远低于全量克隆。

首次同步流程 #

1. 按原有流程全量mirror克隆仓库B，mirror推送到仓库A，完成两端初始化
2. 导出当前所有分支、标签对应的提交哈希，存为纯文本状态文件：

   git -C <本地仓库路径> show-ref > /path/to/sync_state.refs
   

3. 按合规要求删除本地完整的仓库B副本，仅保留上述状态文件。该文件仅存储提交哈希值，不包含任何代码内容，不属于受限的仓库副本范畴

日常同步流程 #

1. 收到B的变更通知后，临时创建空裸仓库用于本次同步：

   mkdir temp_sync_repo && cd temp_sync_repo && git init --bare
   

2. 配置仓库B、A为临时仓库的远端，拉取上次同步点之后的所有增量对象，不会拉取已同步过的历史内容：

   git remote add origin <仓库B访问地址>
   git remote add repoA <仓库A访问地址>
   git fetch origin '+refs/*:refs/*' --shallow-exclude=$(cat /path/to/sync_state.refs | awk '{print $1}' | tr '\n' ' ')
   

3. 执行mirror推送到仓库A，Git会自动仅传输增量内容
4. 导出最新的引用状态覆盖旧的状态文件，删除临时仓库目录，完成本次同步

误区澄清：Git所有克隆、推送操作默认都支持差量计算，只有当本地没有任何远端状态记录时才会触发全量传输。原有流程的高开销完全是每次删除本地副本、丢失同步状态导致的，并非mirror模式本身的问题。

内容的提问来源于stack exchange，提问作者Makook