如何配置Azure DevOps流水线，合并后自动更新Databricks仓库？

完全可以通过配置Azure流水线实现这一需求，具体步骤如下：

1. 配置流水线触发规则 #

在Azure DevOps流水线的触发设置中，添加main分支的推送触发：

• 选择“CI触发器”，勾选main分支，确保当合并请求将dev分支变更合并到main后，流水线自动启动。

2. 配置Databricks服务连接 #

在Azure DevOps项目的“项目设置”→“服务连接”中，创建Databricks类型的服务连接：

• 选择认证方式：可以用Databricks个人访问令牌（PAT），或者Azure AD服务主体认证，确保该身份拥有Databricks工作区中Prod仓库的操作权限（至少需要Repo Editor权限）。

3. 添加流水线任务执行拉取操作 #

在流水线YAML中添加脚本任务，调用Databricks CLI执行仓库拉取命令：

- task: UsePythonVersion@0
  inputs:
    versionSpec: '3.x'
    addToPath: true

- script: |
    pip install databricks-cli
    databricks repos pull --path /Repos/Prod --branch main
  env:
    DATABRICKS_HOST: $(DatabricksHost)
    DATABRICKS_TOKEN: $(DatabricksToken)
  displayName: '拉取变更到Databricks Prod仓库'

说明：

• 替换/Repos/Prod为你Databricks中Prod仓库的实际路径
• DatabricksHost和DatabricksToken可以通过之前创建的服务连接自动注入，或者在流水线变量中配置

4. 权限验证与测试 #

• 确认流水线使用的服务主体在Databricks工作区中拥有Prod仓库的拉取权限
• 创建测试合并请求，将dev分支的测试变更合并到main，观察流水线是否自动执行，检查Databricks的Prod仓库是否同步了最新变更

注意事项 #

• 确保Databricks的Prod仓库已正确关联Azure DevOps的main分支
• 如果使用Azure AD认证，需确认服务主体已在Databricks中被授予对应仓库权限
• 可在脚本中添加日志输出（如databricks repos get --path /Repos/Prod），方便排查同步问题

内容的提问来源于stack exchange，提问作者Sam Richardson