Azure Databricks中无法安装Dask的问题求助

按照官方文档创建初始化脚本并添加到集群后，事件日志显示脚本执行成功：

{  
  "init_scripts": {    
    "reported_for_node": "0000-1111111-xxxxxxxx_10_139_64_16",    
    "global": [],    
    "cluster": [      
      {        
        "workspace": {          
          "destination": "/Users/XXXXXXXXXX/dask-init.sh"        
        },        
        "status": "SUCCEEDED",        
        "execution_duration_seconds": 37      
      }    
    ]  
  }
}

但执行Notebook内容时会话无法启动，报错：

Failure starting repl. Try detaching and re-attaching the notebook.
    at com.databricks.spark.chauffeur.ExecContextState.processInternalMessage(ExecContextState.scala:346)

尝试重新关联Notebook无效，以下是可行的排查与解决方法：

排查与解决步骤 #

1. 检查初始化脚本内容 #

确保dask-init.sh没有破坏Databricks原有运行环境，避免修改核心Python路径或安装冲突依赖。推荐使用最简安装脚本：

#!/bin/bash
pip install dask distributed dask-databricks

2. 查看节点详细日志 #

初始化脚本执行成功不代表无潜在问题，进入集群页面的日志标签，查看init_scripts的完整输出，排查是否有依赖安装失败、权限错误等隐藏报错。

3. 尝试Notebook内手动安装 #

跳过初始化脚本，直接在Notebook中执行安装命令：

%pip install dask distributed dask-databricks

安装完成后点击Notebook右上角的重启按钮重置Python内核，再尝试初始化Dask集群：

from dask_databricks import DatabricksCluster
cluster = DatabricksCluster()
client = cluster.get_client()

4. 验证集群配置兼容性 #

• 确认Databricks Runtime版本为11.0及以上（符合dask-databricks支持范围）
• 若集群启用容器模式，需确保初始化脚本在容器内有执行权限
• 检查节点类型资源是否充足，避免内存不足导致依赖安装失败

5. 重置集群环境 #

终止当前集群，重新创建新集群并添加初始化脚本，避免运行中修改脚本导致的环境不一致问题。

内容的提问来源于stack exchange，提问作者jmarco10