如何在SBT中实现类Maven的集中式依赖管理（Databricks场景）

云上老周

2026-7-4

解决SBT中Databricks依赖集中管理的方案

针对你遇到的Databricks预定义库版本重复配置、版本不一致的问题，以下几种方案可以实现类似Maven BOM/父项目的集中式依赖管理：

方案一：创建独立的依赖管理项目（类似Maven Parent）

专门维护一个无业务代码的项目，统一定义所有Databricks相关依赖的版本与Scope，其他项目直接引用该项目的依赖配置：

搭建依赖管理项目
创建一个名为databricks-deps的SBT项目，build.sbt内容如下：

organization := "com.yourcompany"
name := "databricks-deps"
version := "0.1.0"

// 对应Databricks Runtime的版本常量
val sparkVersion = "3.3.0"
val deltaVersion = "2.2.0"
val scalaVersion = "2.12.15"

// 定义所有需要标记为Provided的Databricks依赖
lazy val databricksProvidedDeps = Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % Provided,
  "org.apache.spark" %% "spark-sql" % sparkVersion % Provided,
  "io.delta" %% "delta-core" % deltaVersion % Provided
)

lazy val root = (project in file("."))
  .settings(
    libraryDependencies ++= databricksProvidedDeps,
    // 禁止该项目生成发布包，仅作为依赖定义载体
    publishArtifact := false
  )

业务项目引用依赖管理项目

若依赖管理项目与业务项目在同一Git仓库，直接通过RootProject关联：

// 业务项目 build.sbt
lazy val databricksDeps = RootProject(file("../databricks-deps"))

lazy val root = (project in file("."))
  .settings(
    scalaVersion := "2.12.15",
    // 直接复用依赖管理项目中的所有Provided依赖
    libraryDependencies ++= (databricksDeps / libraryDependencies).value
  )

若团队协作需要共享，可将databricks-deps发布到内部Maven仓库，业务项目通过坐标引用：

libraryDependencies += "com.yourcompany" %% "databricks-deps" % "0.1.0" % Provided

方案二：使用sbt-bom插件实现Maven BOM式版本管理

借助第三方插件sbt-bom，可以像Maven BOM一样集中管控依赖版本，无需重复写版本号：

创建BOM项目
在databricks-bom项目的build.sbt中定义所有依赖版本：

addSbtPlugin("com.github.cb372" % "sbt-bom" % "0.6.0")

organization := "com.yourcompany"
name := "databricks-bom"
version := "0.1.0"

// BOM中声明所有依赖的版本
bomDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "3.3.0",
  "org.apache.spark" %% "spark-sql" % "3.3.0",
  "io.delta" %% "delta-core" % "2.2.0"
)

业务项目导入BOM并添加依赖
业务项目中导入BOM后，添加依赖时无需指定版本，自动使用BOM中的配置，同时标记为Provided：

// 业务项目 build.sbt
addSbtPlugin("com.github.cb372" % "sbt-bom" % "0.6.0")

lazy val root = (project in file("."))
  .settings(
    scalaVersion := "2.12.15",
    // 导入BOM
    bomImport += "com.yourcompany" %% "databricks-bom" % "0.1.0",
    // 添加依赖，版本由BOM管控
    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % Provided,
      "org.apache.spark" %% "spark-sql" % Provided,
      "io.delta" %% "delta-core" % Provided
    )
  )

方案三：全局SBT配置文件（适合小型团队）

如果团队所有项目都使用SBT，可以通过全局配置文件统一定义依赖：
在团队共享的SBT配置片段（如~/.sbt/1.0/global.sbt或项目根目录的shared.sbt）中添加：

// 全局依赖版本定义
val databricksSparkVersion = "3.3.0"
val databricksDeltaVersion = "2.2.0"

lazy val databricksProvidedDeps = Seq(
  "org.apache.spark" %% "spark-core" % databricksSparkVersion % Provided,
  "org.apache.spark" %% "spark-sql" % databricksSparkVersion % Provided,
  "io.delta" %% "delta-core" % databricksDeltaVersion % Provided
)

业务项目直接复用该变量：

// 业务项目 build.sbt
lazy val root = (project in file("."))
  .settings(
    scalaVersion := "2.12.15",
    libraryDependencies ++= databricksProvidedDeps
  )

注意事项

当Databricks Runtime更新时，仅需修改依赖管理项目/BOM/全局配置中的版本号，所有业务项目同步更新即可，彻底解决版本不一致问题。
确保所有Provided依赖的Scope正确配置，避免打包时引入与Databricks集群冲突的库。

内容的提问来源于stack exchange，提问作者Crystark