Azure Data Factory重新集成Git时已删资源未清理导致同步异常
问题根因说明
ADF 重新关联Git仓库时的默认行为是拉取仓库协作分支的现有内容加载到ADF工作区,不会主动反向用ADF实例的当前实时资源覆盖仓库分支的存量文件。这就是观测到的异常的核心原因:仓库master分支里留存的旧资源不会被ADF侧的删除操作自动清除,仅会把ADF侧发生变更的文件和仓库内容做合并,最终出现“变更的资源能同步、已删除的资源残留在仓库分支”的问题。
针对两个核心诉求的直接回应
- 可以在重新集成Git时清理master分支,仅将当前ADF实例的现有资源导入对应分支,不需要新建仓库
- 可以实现重新关联Git时以当前ADF实例的现有资源为基准写入master分支、不与原有分支代码做冗余合并,全程保留原有仓库的分支、提交历史
可落地操作步骤
按以下流程操作,既满足资源一致性要求,也不会丢失原有开发仓库的历史资产:
- 暂不直接将DEV ADF关联回原有开发仓库,先在Git仓库网页端对当前
master分支做一次备份:下载当前分支完整压缩包存档到本地,避免操作过程中的误操作风险 - 用Git客户端将原有开发仓库完整克隆到本地路径,切换到
master分支,保留所有历史提交、分支记录不做硬重置 - 导出当前DEV ADF(此时处于无Git关联状态、资源与PROD完全一致)的全量发布资源:
操作路径:进入DEV ADF Studio -> 管理模块 -> 全局设置 -> 导出ARM模板,将导出的ADF资源文件解压后,替换本地Git仓库工作区里的对应文件,手动删除本地仓库中留存的、已在PROD侧删除的管道、链接服务对应的旧json文件,确保本地仓库文件与ADF当前资源一一对应
- 在本地Git仓库执行提交操作,提交信息标注为“同步PROD全量ADF资源,清理已废弃的旧管道、链接服务资产”,将提交推送到远端
master分支- 该操作是在原有仓库的提交历史上新增一条记录,不会抹除任何历史改动、分支内容,完全符合“不丢失原有仓库资产”的要求
- 回到DEV ADF的Git关联配置页面,正常关联原有开发仓库,选择协作分支为
master:
因此时远端master分支的内容已经与DEV ADF的当前资源完全匹配,关联完成后不会出现旧资源残留问题,后续的日常开发、提交、发布流程可以直接沿用原有工作流,不需要做调整。
简化操作路径(省掉手动导出文件步骤)
此前操作中已经将PROD ADF关联到临时Git仓库并完成发布,该临时仓库的内容就是与PROD资源1:1匹配的、无冗余删除资源的全量版本,可直接复用:
- 在本地克隆的原有开发仓库中,添加临时Git仓库作为额外的远端源
- 拉取临时仓库的对应分支,将该分支的内容合并到原有仓库的
master分支,合并过程选择保留提交历史的三方合并模式即可,不会破坏原有仓库的提交记录 - 合并完成后删除临时添加的远端源,后续正常关联DEV ADF到原有仓库即可。
内容的提问来源于stack exchange,提问作者Antony
相关产品推荐
相关产品推荐

