Azure Databricks跨订阅部署集群启动/扩容失败求助

核心现象 #

通过Terraform部署的Premium版Azure Databricks Workspace（配置私有端点、无公网IP、自定义DNS）在订阅A运行正常，但订阅B/C中随机出现以下异常：

• Databricks UI报错：Failed to get instance bootstrap steps from the Databricks Control Plane，GetRunbook命令执行超时
• 本地SparkSession连接集群时提示无效集群ID、HTTP 404或隧道未找到错误
• 集群扩容时部分节点失败，报Control Plane连接问题

已确认防火墙、代理、DNS连通性正常，各订阅网络配置一致。

排查方向 #

1. 订阅级资源配额与限制差异 #

• 检查订阅B/C的Azure Databricks服务配额：包括集群最大节点数、VM实例配额（如Standard_DS3_v2等常用实例类型的可用数量），随机扩容失败可能是配额不足导致节点创建超时，进而触发Control Plane连接异常。
• 验证订阅的资源组部署限制：部分订阅可能有额外的审批策略或资源创建速率限制，导致节点启动/扩容时的资源请求被延迟处理。

2. 自定义DNS的解析一致性与缓存问题 #

• 虽然已确认DNS连通性，但需检查：
  • 订阅B/C中自定义DNS服务器的解析缓存TTL设置：如果TTL过长，可能导致Control Plane端点的IP变更无法及时同步，引发随机解析失败。
  • 跨区域解析延迟：若Databricks Control Plane与订阅B/C的区域跨距较大，DNS解析的延迟波动可能触发超时，可通过nslookup或dig多次测试解析耗时，对比订阅A的结果。

3. 私有端点的网络路由与NAT规则差异 #

• 检查订阅B/C的虚拟网络路由表：确认私有端点的路由是否存在随机失效的情况（如路由表条目未正确关联子网，或存在重叠路由导致流量分流）。
• 验证NAT网关配置：无公网IP部署下，集群节点需通过NAT网关访问Control Plane的私有端点，若NAT网关的端口耗尽或带宽不足，会导致随机的连接超时。可查看NAT网关的监控指标（如端口使用率、出站流量）。

4. Terraform部署的隐式差异 #

• 对比订阅A与B/C的Terraform状态文件（terraform state show），检查以下细节：
  • Databricks Workspace的SKU与附加配置：是否存在订阅B/C中未正确应用的Premium版专属配置（如高级网络选项）。
  • 私有端点的关联子网权限：确认子网的Microsoft.Network/privateEndpoints权限是否正确授予，部分订阅可能因RBAC继承差异导致权限缺失。
  • 自定义DNS的配置顺序：Terraform中DNS服务器的配置顺序是否在订阅B/C中被覆盖，导致解析优先级变化。

5. Control Plane的区域级服务波动 #

• 检查Azure状态页面中订阅B/C所在区域的Databricks服务状态，随机异常可能与区域级的服务临时波动有关，可查看历史事件是否与异常时间点匹配。

6. 集群节点的启动脚本与依赖差异 #

• 若使用自定义启动脚本，检查订阅B/C中脚本的依赖资源（如存储账户、密钥保管库）是否存在访问延迟，导致节点bootstrap时无法及时获取配置，触发GetRunbook超时。

内容的提问来源于stack exchange，提问作者BeGreen