Azure Databricks CI/CD流水线如何自动删除生产端源库已移除的Notebook

现有流水线仅做增量部署、不做反向清理的问题，不需要重构流水线框架，在现有构建/发布流程里嵌入比对同步逻辑即可实现，具体可落地方案如下：

• 基于CLI/REST API的自定义比对清理逻辑
  适配绝大多数现有流水线的部署流程，不需要修改原有部署路径，核心步骤为：
  1. 构建阶段拉取对应发布分支的最新代码，扫描生产环境对应的部署根路径（例如/Production/核心业务）下所有需要保留的Notebook路径，生成一份基准清单
  2. 在发布阶段的Notebook部署动作执行完成后，调用Databricks内置的databricks workspace list CLI命令枚举生产工作区部署根路径下的所有现存Notebook，生成当前环境的实际文件清单
  3. 对两份清单做差集计算，实际清单中存在、但基准清单中不存在的Notebook，就是需要清理的孤儿文件
  4. 循环调用databricks workspace delete命令批量删除差集内的文件
     必须增加路径前缀校验规则：仅允许删除路径完全匹配流水线部署根前缀的文件，避免误删工作区中其他团队留存的自定义脚本、调试类Notebook
• 基于Databricks Repos的原生同步能力
  如果生产环境的Notebook是通过Databricks Repos做Git绑定管理，可以直接复用Repos的原生同步机制：流水线发布时执行databricks repos update命令将生产侧的Repos目录更新到发布分支的最新提交，这个命令本身就会完成目录级的状态对齐——包括删除Repos目录下和Git分支内容不一致的多余文件，不需要额外编写比对逻辑
  注意点：如果之前的Notebook是直接部署在Repos目录之外的独立路径，需要将部署目标调整到Repos的子目录下，原生同步逻辑不会管控非Repos路径的文件
• 流水线内置Databricks扩展的开箱同步能力
  如果是基于Azure DevOps搭建的流水线，自带的Databricks部署扩展最新版本已经支持「同步式部署」开关，不需要自己编写比对、删除脚本，勾选该选项后，扩展会自动完成Git源和生产工作区目标路径的全量状态对齐，自动清理源端不存在的文件

落地时的注意事项：

• 所有删除判断必须以发布分支的Git文件清单为唯一依据，不能用dev环境的文件状态做判断，避免dev临时删文件、还未合入发布分支就误删生产内容
• 生产环境留存的临时调试脚本、独立运行的调度作业Notebook，要放到和流水线部署路径完全隔离的独立目录下，防止被同步逻辑误判为孤儿文件删除
• 上线初期可以先把差集计算的结果输出到流水线运行日志，经过1-2轮校验确认待删除清单无风险后，再开启自动执行删除的权限，避免误操作

内容的提问来源于stack exchange，提问作者user961