Databricks集群操作极慢，日志提示Metastore is down问题求助

问题背景 #

• Databricks Notebook所有查询、读写操作耗时极长，即使是加载小Delta表、保存两行DataFrame这类轻量操作也需约5分钟完成
• 集群事件日志持续出现Metastore is down错误提示
• 新建集群后问题未得到缓解
• 环境：Databricks高级工作区，Unity Catalog元数据存储基于ADLS Gen2部署

排查步骤 #

1. ADLS Gen2存储连通性与权限验证 #

• 网络连通性检查：
  • 若ADLS Gen2存储账户使用专用端点，确认集群所在VNet与专用端点的路由表、NSG规则允许双向通信，无端口阻塞（默认需开放443端口）
  • 若使用公网访问，检查存储账户防火墙规则是否包含集群的公网IP段，或临时设置为允许所有网络访问用于测试
• 权限验证：
  • 确认集群使用的服务主体拥有ADLS Gen2存储账户的Storage Blob Data Contributor权限（针对元数据存储容器）
  • 检查Unity Catalog元数据存储配置的访问凭证是否有效，无过期、权限回收等情况

2. Unity Catalog元数据存储状态核查 #

• 登录Databricks工作区，进入Data > Unity Catalog > Metastores，确认目标元数据存储状态为Active
• 借助工作区日志排查细节（需管理员权限）：
  • 进入Admin Console > Workspace Logs，筛选metastore相关日志，查找连接超时、权限拒绝、IO错误等具体异常信息
• Azure端存储检查：
  • 登录Azure门户，查看ADLS Gen2存储账户的元数据容器是否正常，无容量不足、Blob损坏等情况

3. 集群配置校验 #

• 确认集群已正确关联Unity Catalog：
  • 集群配置页中Unity Catalog选项需设为Enabled，且选择了正确的元数据存储实例
  • 检查Spark配置，确保未自定义spark.sql.catalogImplementation参数（Unity Catalog依赖默认的hive实现）
• 节点DNS解析测试：
  • 在集群节点上执行nslookup <ADLS-Gen2-account>.dfs.core.windows.net，验证存储账户域名可正常解析
  • 若使用专用端点，需确认节点能正确解析专用端点的私有IP（可通过集群初始化脚本执行解析测试）

4. 服务状态与支持请求 #

• 检查Databricks官方状态页面，确认所在区域的Unity Catalog服务无故障公告
• 若以上排查无结果，提交Databricks支持工单，需提供：
  • 工作区ID、集群ID
  • 事件日志中的完整错误堆栈
  • 耗时操作的具体代码/SQL语句
  • ADLS Gen2存储账户的区域、网络配置信息

内容的提问来源于stack exchange，提问作者ALdo