Azure Pipeline中使用服务主体认证Databricks bundle部署失败求助

在Azure Pipeline中部署Databricks bundle时遇到认证失败问题，环境与前提：

• Databricks CLI版本v0.209.0
• Bundle制品已下载至虚拟机，操作遵循官方流程
• 使用已通过Terraform验证的服务主体（具备Databricks工作区创建权限，可生成Entra ID）
• 目标任务为databricks bundle deploy

尝试过的方法及报错：

1. 配置默认.databrickscfg文件用Entra ID token认证，报错：

   Error: default auth: cannot configure default credentials. Config: host=https://<databricks-host>. Env: DATABRICKS_HOST
   

2. 改用服务主体客户端密钥作为token，报错：

   Error: Get "https://<databricks-host>/api/2.0/preview/scim/v2/Me": dial tcp: lookup <databricks-host>: no such host
   

3. 按官方文档配置服务主体专用.databrickscfg，执行databricks bundle deploy -p SP报错：

   panic: config host mismatch: profile uses host ***, but CLI configured to use <databricks-host>
   

所有尝试中databricks auth profiles均显示配置文件Valid=No，且无法使用无认证方式部署。已知无法使用官方Azure DevOps扩展，需优先使用Azure Pipeline YAML解决。

核心思路：用环境变量替代.databrickscfg文件完成服务主体认证 #

Databricks CLI v0.209.0支持通过环境变量直接读取Azure服务主体凭据，避免配置文件路径、profile匹配等问题。

完整Azure Pipeline YAML示例 #

variables:
  # 替换为实际值，建议用Pipeline变量组存储敏感信息
  DATABRICKS_HOST: "https://<你的Databricks工作区URL>"
  AZURE_TENANT_ID: "<服务主体租户ID>"
  AZURE_CLIENT_ID: "<服务主体客户端ID>"
  AZURE_CLIENT_SECRET: "<服务主体客户端密钥>"

steps:
  - script: |
      # 可选：验证主机地址解析（排查DNS问题）
      nslookup $(echo $(DATABRICKS_HOST) | sed 's/https:\/\///')
      # 确保CLI版本正确
      databricks --version
      # 执行bundle部署，自动读取环境变量完成认证
      databricks bundle deploy
    displayName: '部署Databricks Bundle'
    env:
      DATABRICKS_HOST: $(DATABRICKS_HOST)
      AZURE_TENANT_ID: $(AZURE_TENANT_ID)
      AZURE_CLIENT_ID: $(AZURE_CLIENT_ID)
      AZURE_CLIENT_SECRET: $(AZURE_CLIENT_SECRET)

关键注意事项 #

1. 权限校验：确保服务主体拥有Databricks工作区的Bundle Deployer或Workspace Admin权限（创建工作区权限≠部署bundle权限）。
2. Host一致性：Bundle配置文件databricks.yml中的host字段必须与DATABRICKS_HOST完全一致（包括https://前缀和完整域名后缀），否则会触发host mismatch错误。
3. DNS解析问题：若仍出现lookup <databricks-host>: no such host，需检查Azure Pipeline代理服务器的网络配置，确保能访问Databricks工作区域名；可通过nslookup命令验证解析结果。
4. 避免配置冲突：不要同时配置.databrickscfg文件和认证环境变量，CLI会优先读取环境变量，可能导致认证逻辑混乱。

内容的提问来源于stack exchange，提问作者Lorikiki