执行Databricks Notebook时Scala/Java库未安装随机失败如何解决

生产环境首选方案：集群/作业级预配置依赖 #

• 将所有Maven依赖、自定义JAR包提前添加到运行任务的固定集群的库配置中，集群启动完成时所有依赖已完成加载，完全消除依赖加载和代码执行的竞态问题，稳定性最高。
• 若使用作业专属的临时运行集群，直接在作业配置的「库」 tab 中批量添加所有依赖，Databricks 作业调度逻辑会先完成所有依赖的安装，再触发Notebook 执行，不会出现代码提前运行的问题。

临时兼容方案：Notebook 内主动检测依赖加载状态 #

固定时长 Thread.sleep() 不可靠的核心原因是依赖加载耗时受集群资源、Maven 仓库网络波动影响极大，固定时长无法覆盖所有极端场景，可改为主动检测依赖类可用性的等待逻辑：

// 填入所有业务代码依赖的核心类全限定名
val requiredDependenceClasses = List(
  "com.your.custom.package.YourCoreClass",
  "org.apache.commons.lang3.StringUtils",
  "com.third.party.dependency.EntryClass"
)

val maxWaitMilliseconds = 300000 // 最大等待5分钟，可按需调整
val checkIntervalMilliseconds = 2000 // 每2秒检测一次
var waitedTime = 0
var allDependenceLoaded = false

while (waitedTime < maxWaitMilliseconds && !allDependenceLoaded) {
  allDependenceLoaded = requiredDependenceClasses.forall { className =>
    try {
      Class.forName(className)
      true
    } catch {
      case _: ClassNotFoundException => false
    }
  }
  if (!allDependenceLoaded) {
    Thread.sleep(checkIntervalMilliseconds)
    waitedTime += checkIntervalMilliseconds
  }
}

if (!allDependenceLoaded) {
  throw new RuntimeException("依赖加载超时，请检查依赖配置有效性后重试")
}

将上述代码放在所有 import 语句和业务代码之前，只有所有依赖类都能正常加载后才会继续执行后续逻辑，彻底解决随机提前执行的问题。

动态加载自定义JAR专属方案：显式调用类加载器加载 #

如果必须在Notebook运行时动态加载自定义JAR包，可通过显式调用类加载器的方式同步完成加载，避免异步加载的竞态问题：

1. 先通过%sh单元格将自定义JAR下载到集群本地路径

%sh
wget -O /tmp/your-custom-jar.jar 替换为你的JAR本地/内网路径

2. 在Scala单元格中主动加载JAR

import java.net.URL
import java.net.URLClassLoader

val jarUrl = new URL("file:///tmp/your-custom-jar.jar")
val systemClassLoader = ClassLoader.getSystemClassLoader.asInstanceOf[URLClassLoader]
val addUrlMethod = classOf[URLClassLoader].getDeclaredMethod("addURL", classOf[URL])
addUrlMethod.setAccessible(true)
addUrlMethod.invoke(systemClassLoader, jarUrl)

内容的提问来源于stack exchange，提问作者Karzyfox