Azure Databricks冷启动时Scala单元格import语句失败问题咨询

这个报错是Azure Databricks Scala REPL的编译期类加载时序和冷启动异步库挂载流程冲突导致的，没有特殊玄学：

• 集群冷启动时，配置的全局库、作业级Scala库的下载、解压、挂载到驱动/执行器classpath全是异步执行的，不会阻塞REPL的单元格编译调度
• Scala的import是编译期就做解析校验的，之前尝试的Class.forName检测、Thread.sleep全是运行时才会执行的逻辑——只要这些代码和import写在同一个单元格，编译器扫到import找不到类的时候直接就抛编译错，根本轮不到后面的休眠或者检测逻辑跑，这就是加5分钟休眠都没用的根本原因
• 报错后重跑就正常，本质是第一次报错消耗的时间里库刚好挂载完成，第二次编译的时候classpath已经能读到对应依赖了

按稳定性和改造成本排序，优先选择靠前的方案：

方案1：拆分单元格做类加载屏障（零依赖改造成本，最稳定） #

把类检测逻辑、import逻辑、业务逻辑拆到三个独立单元格，绝对不要混写：
第一个单元格纯做循环类检测，不写任何目标依赖的import：

import scala.util.Try
val maxWait = 300 // 最长等待5分钟足够覆盖绝大多数场景
val checkInterval = 5
var isLibLoaded = false

for (_ <- 0 until maxWait / checkInterval if !isLibLoaded) {
  // 直接检测依赖的核心入口类即可，不用测内部shade包的类
  isLibLoaded = Try(Class.forName("com.crealytics.spark.excel.DefaultSource")).isSuccess
  if (!isLibLoaded) Thread.sleep(checkInterval * 1000)
}

if (!isLibLoaded) throw new RuntimeException(s"等待${maxWait}秒依赖仍未加载，请检查集群库配置")

等第一个单元格运行成功后，再在第二个单元格单独写import语句：

import com.crealytics.spark.excel._

第三个单元格再写实际的业务读写逻辑即可。

关键提醒：绝对不要把检测代码和import写在同一个单元格，否则编译阶段会优先校验import，检测代码根本没有执行机会。

方案2：用笔记本内联依赖阻塞加载 #

不要把依赖配成集群全局库或者作业级库，直接在笔记本最开头（所有业务代码、所有import之前）用%dep魔法命令声明依赖，这个命令会阻塞REPL执行流程，直到依赖完全挂载到classpath才会往下走，从根源绕开时序问题：

%dep
z.load("com.crealytics:spark-excel_2.12:0.17.0")

存在多个第三方依赖的话直接在后面追加z.load语句即可，写完依赖声明再写其他业务代码。

方案3：绕开编译期import校验 #

如果不想拆单元格，就干脆不要写顶层import，直接用全限定类名调用功能，让类校验推迟到运行时：

// 删掉import com.crealytics.spark.excel._ 这行
val df = spark.read
  .format("com.crealytics.spark.excel") // 类名作为字符串传入，编译期不做存在性校验
  .option("header", "true")
  .load("/path/to/your/excel_file.xlsx")

这种写法不需要提前做等待逻辑，因为类名是运行时传给Spark后才会去实际加载，只要库最终能挂载成功就不会报错。

• 固定时长休眠没有实际作用：哪怕设置10分钟休眠，只要和import写在同一个单元格，编译阶段就会直接报错；就算拆到单独单元格，固定休眠也没法适配不同网络环境下的库下载速度波动，要么白等太久浪费资源，要么等待时长不足还是触发报错
• 不要检测shade包的类：之前测试的shadeio.poi.util.IOUtils是spark-excel内部重打包的依赖类，加载顺序远晚于库本身的核心入口类，检测这个类会平白增加不必要的等待时间，直接检测对应库的Spark数据源入口类准确率最高
• 这个问题和Spark版本、Databricks运行时版本没有直接绑定关系，从Spark 2.x到3.x的交互式集群都有概率触发，本质是REPL编译调度和异步库加载的时序问题，不是依赖版本冲突导致的

内容的提问来源于stack exchange，提问作者rainingdistros