使用Azure DevOps Pipeline部署Notebook至Private Link版Azure Databricks失败排查

问题描述 #

通过VNet注入创建了启用Private Link的Azure Databricks工作区，使用Azure DevOps Pipeline从Azure Repos部署Notebook时，流水线执行成功但Notebook未复制到Databricks的/deploy目录，怀疑是否与使用windows-latest代理虚拟机的连通性有关？

流水线YAML配置 #

pool:
  vmImage: windows-latest

stages:
- stage: Build
  jobs: 
  - job: copy
    steps:
    
    - task: CopyFiles@2
      inputs:
        SourceFolder: '$(Build.SourcesDirectory)'
        Contents: '**'
        TargetFolder: '$(Build.ArtifactStagingDirectory)'

    - task: PublishBuildArtifacts@1
      inputs:
        PathtoPublish: '$(Build.ArtifactStagingDirectory)'
        ArtifactName: 'Notebooks'
        publishLocation: 'Container'


- stage: Development
  jobs:
  - deployment: DeployTodev
    displayName: Deploy to Dev
    environment: 'DBX_Test'
    strategy:
      runOnce:
       deploy:
        steps:
        
        - task: DownloadBuildArtifacts@1
          inputs:
            buildType: 'current'
            downloadType: 'single'
            artifactName: 'Notebooks'
            downloadPath: '$(Build.ArtifactStagingDirectory)'
        
        - task: CmdLine@2
          inputs:
            script: |
              echo Write your commands here
              
              echo Hello world
              
              
              cd $(Build.ArtifactStagingDirectory)
              
              
              dir /p

        - task: configuredatabricks@0
          inputs:
            url: $(databricksHost)
            token: $(databricksToken)


        - task: databricksDeployScripts@0
          inputs:
            authMethod: 'bearer'
            bearerToken: $(databricksToken)
            region: $(region)
            localPath: '$(Build.ArtifactStagingDirectory)/Notebooks/'
            databricksPath: '/deploy'
            clean: true

问题原因分析 #

1. 连通性问题是核心嫌疑 #

启用Private Link的Databricks工作区，控制平面和数据平面都部署在私有VNet内，仅允许VNet内部或通过VPN/ExpressRoute连接的网络访问。而Azure DevOps的windows-latest托管代理属于公共Azure网络，默认无法访问Databricks的私有端点：

• 如果databricksHost配置的是Private Link专属URL（如*.privatelink.databricks.azure.com），托管代理无法解析或访问该私有端点，导致部署任务看似执行成功，但实际未完成API调用。
• 部分Databricks任务不会主动抛出连通性错误，仅静默失败，造成流水线显示成功但无实际效果。

2. 任务配置存在潜在问题 #

• region参数冗余：databricksDeployScripts@0的region参数针对公共端点设计，使用Private Link时应直接通过url指定私有端点，无需设置region，否则任务可能尝试访问公共端点而非私有链路。
• 路径匹配错误：需确认localPath是否指向正确的文件位置。通过CmdLine任务的dir输出，检查$(Build.ArtifactStagingDirectory)/Notebooks/下是否存在要部署的Notebook文件，路径错误会导致任务无文件可部署。
• 重复配置冲突：configuredatabricks@0用于配置Databricks CLI，但databricksDeployScripts@0已独立配置认证信息，重复配置可能导致CLI使用的端点与部署任务不一致。
• 权限不足：Databricks Token需具备Workspace的写入权限（如Can Manage级别），权限不足会导致API调用成功但无法写入文件，流水线无报错但无结果。

验证与解决方案 #

验证步骤 #

• 在CmdLine任务中添加连通性测试命令，确认代理能否访问Databricks私有端点：

  curl -H "Authorization: Bearer $(databricksToken)" $(databricksHost)/api/2.0/workspace/list?path=/
  

  若返回403/超时/无法连接，即可确认连通性问题。
• 查看databricksDeployScripts@0任务的详细日志，检查是否存在隐藏的API调用错误。
• 确认Databricks Token的权限范围，确保拥有Workspace目录的写入权限。

解决方案方向 #

• 解决连通性问题：
  • 使用自托管代理：将代理虚拟机部署到Databricks所在的VNet，或通过VPN/ExpressRoute连接的网络中，确保代理能访问私有端点。
  • 配置Azure Private Link for Azure DevOps：通过私有链路让托管代理访问Databricks，配置复杂度较高。
• 修正任务配置：
  • 移除configuredatabricks@0任务，避免重复配置冲突。
  • 删除databricksDeployScripts@0中的region参数，确保任务使用databricksHost指定的私有端点。
  • 根据CmdLine的dir输出调整localPath，确保指向正确的文件目录。

内容的提问来源于stack exchange，提问作者Saurabh Mehta