Azure Databricks集群初始化脚本资源不存在问题求助

核心问题排查 #

首先注意到报错信息中寻找的文件是/Workspace/Shared/cluster-init.sh，但你实际使用的脚本是my-cluster-init.sh——这大概率是集群配置时的路径拼写错误，先优先核对集群初始化脚本配置项里的路径是否和实际文件名完全一致。

如果确认路径拼写无误，再尝试以下解决方案：

解决方案1：使用DBFS路径替代Workspace路径 #

Azure Databricks集群节点无法直接访问Workspace文件系统的/Workspace/...路径（10.4 LTS版本存在此限制），需要将脚本同步到DBFS后再引用：

• 通过Databricks CLI执行复制命令：

  databricks fs cp /Workspace/Shared/my-cluster-init.sh dbfs:/databricks/init-scripts/my-cluster-init.sh
  

• 打开集群配置，将初始化脚本路径修改为dbfs:/databricks/init-scripts/my-cluster-init.sh，重启集群。

解决方案2：验证文件权限 #

即使文件存在，集群运行身份可能没有读取权限：

• 在Databricks工作区右键点击/Workspace/Shared目录，选择「权限」；
• 确认集群使用的身份（单用户模式下是你的账号，共享模式下是集群服务主体）拥有「读取」权限；
• 若使用服务主体，需确保该主体已被添加到Workspace目录的权限列表中。

解决方案3：检查脚本格式 #

如果脚本使用Windows换行符（CRLF），可能导致集群识别异常：

• 将脚本内容复制到支持Unix格式的编辑器（如VS Code），切换为LF换行符后重新上传到Workspace；
• 再按上述步骤配置到集群中。

内容的提问来源于stack exchange，提问作者jdhao