DLT流水线卡在初始化状态求助：代码在交互式集群可正常运行

• 核对集群配置差异：对比DLT流水线集群与交互式集群的配置，重点确认：
  • Databricks Runtime版本是否匹配（DLT有专属Runtime版本要求，需与交互式集群版本兼容）
  • 节点规格、数量是否满足资源需求，避免因资源不足导致初始化阻塞
  • 集群初始化脚本、环境变量是否一致，排查DLT集群是否缺少依赖组件
• 验证权限配置：
  • 确认DLT流水线使用的服务主体对SQL Server、Cosmos的访问权限，是否与交互式笔记本所用身份的权限一致（比如交互式用个人账号，DLT用服务主体可能存在权限缺口）
  • 检查流水线对Workspace存储路径、Delta表存储路径的读写权限
• 查看初始化日志：
  • 进入Databricks控制台的DLT流水线页面，切换至「Logs」标签，查看cluster-init-logs和driver-logs，定位初始化阶段的报错（如连接超时、认证失败、依赖缺失等）
• 检查代码兼容性：
  • 排查代码中是否包含DLT不支持的交互式操作（如display()函数、手动会话管理）
  • 确认API调用逻辑是否存在未处理的异常或异步阻塞，导致初始化流程停滞
• 逐步简化测试：
  • 先移除Cosmos元数据更新的API调用代码，仅保留SQL Server读取+Delta表创建逻辑，测试流水线能否正常初始化
  • 若简化后正常，再逐步添加API部分，定位具体引发阻塞的代码段
• 排查网络连通性：
  • 确认DLT集群所在网络能正常访问SQL Server、Cosmos的端点，检查防火墙、VPC对等连接等配置是否存在限制（交互式集群可能处于不同网络环境）

内容的提问来源于stack exchange，提问作者Ravindra