使用Databricks dbutils-api打包Jar时遇编译错误求助

我之前在使用dbutils-api打包Jar时也碰到过一模一样的错误，其实问题根源很明确：

com.databricks:dbutils-api这个包本质上只是接口定义层，它的很多底层依赖（比如错误里提到的com.databricks.backend.common相关类）是Databricks Runtime环境独有的，这些类并没有发布到公共Maven仓库，所以本地编译时根本找不到这些依赖，自然会报错。

下面是两种可行的解决办法：

方法一：调整依赖范围+本地模拟实现 #

1. 修改build.sbt的依赖范围 #

把dbutils-api的依赖设为provided，因为这个依赖在Databricks集群环境中已经内置了，不需要打包到你的Jar里：

libraryDependencies += "com.databricks" %% "dbutils-api" % "0.0.1" % Provided

2. 本地开发时添加模拟实现 #

为了让本地编译通过，我们可以自己实现NotebookUtils接口，用来模拟dbutils的行为：

import com.databricks.dbutils_v1.{NotebookUtils, DBUtilsHolder}

// 本地模拟的NotebookUtils实现
class LocalNotebookMock extends NotebookUtils {
  override def exit(value: Any): Unit = println(s"[本地模式] 模拟退出，返回值：$value")
  // 如果用到其他dbutils方法，也可以在这里添加空实现或模拟逻辑
}

class Job {
  // 根据运行环境选择dbutils实例
  private val dbutils = if (sys.env.getOrElse("RUN_ENV", "local") == "local") {
    // 本地环境用模拟实现
    val mockUtils = new LocalNotebookMock
    DBUtilsHolder.dbutils = new com.databricks.dbutils_v1.DBUtils(mockUtils, null, null, null, null)
    DBUtilsHolder.dbutils
  } else {
    // Databricks环境用真实实例
    DBUtilsHolder.dbutils
  }

  def execute(): String = {
    // 你的业务逻辑
    val jobResult = "处理完成的结果"
    dbutils.notebook.exit(jobResult)
    jobResult
  }
}

方法二：依赖注入解耦（更推荐） #

这种方法通过依赖注入把dbutils实例和业务代码解耦，本地测试和Databricks运行用不同的实现，代码更干净：

1. 重构业务代码，依赖接口而非具体实例 #

import com.databricks.dbutils_v1.NotebookUtils

// 业务类只依赖NotebookUtils接口，不直接耦合DBUtilsHolder
class Job(notebookUtils: NotebookUtils) {
  def run(): String = {
    // 你的业务逻辑
    val jobResult = "业务处理结果"
    notebookUtils.exit(jobResult)
    jobResult
  }
}

2. 分别编写本地和Databricks的运行入口 #

// Databricks集群上的运行入口
object DatabricksJobRunner {
  def main(args: Array[String]): Unit = {
    val realNotebookUtils = com.databricks.dbutils_v1.DBUtilsHolder.dbutils.notebook
    val job = new Job(realNotebookUtils)
    job.run()
  }
}

// 本地开发/测试的运行入口
object LocalJobRunner {
  def main(args: Array[String]): Unit = {
    // 模拟NotebookUtils实现
    val mockNotebookUtils = new NotebookUtils {
      override def exit(value: Any): Unit = println(s"[本地测试] 退出，返回值：$value")
    }
    val job = new Job(mockNotebookUtils)
    job.run()
  }
}

这样调整后，本地编译时完全不会依赖Databricks的私有类，打包后的Jar上传到Databricks集群也能正常使用真实的dbutils功能。

内容的提问来源于stack exchange，提问作者sutugin