如何使用SBT为Spark2与Spark3实现交叉编译？

完全可以通过SBT的交叉编译功能实现一次配置、批量编译不同Scala+Spark版本组合的需求，不需要手动分两次执行命令，具体配置步骤如下：

1. 启用Scala交叉编译 #

在build.sbt中指定需要支持的Scala版本列表：

crossScalaVersions := Seq("2.11.8", "2.12.8")
// 可选：设置默认编译的Scala版本
scalaVersion := "2.12.8"

2. 绑定Spark版本与Scala版本 #

根据当前编译的Scala版本动态匹配对应的Spark版本，避免手动维护多套依赖：

val sparkVersion = scalaVersion.value match {
  case v if v.startsWith("2.11") => "2.3.2"
  case v if v.startsWith("2.12") => "3.3.1"
}

// 引入Spark核心依赖，注意设置为provided scope（运行时由Spark环境提供）
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % Provided,
  "org.apache.spark" %% "spark-sql" % sparkVersion % Provided
  // 按需添加其他Spark模块依赖
)

3. 执行交叉编译打包 #

使用SBT的+前缀触发交叉编译，一次性完成所有版本的打包：

sbt +package

执行后，SBT会自动为每个Scala版本编译代码，并将产物分别输出到：

• target/scala-2.11/[你的项目名]_2.11-[版本号].jar（对应Spark2.3.2）
• target/scala-2.12/[你的项目名]_2.12-[版本号].jar（对应Spark3.3.1）

注意事项 #

• 确保项目代码在不同Scala版本下兼容，比如避免使用Scala2.12新增的语法特性（如果还要支持2.11）
• 部分第三方依赖可能需要根据Scala版本调整，可通过crossVersion := CrossVersion.binary或自定义逻辑处理
• Spark依赖建议设置为Provided，避免打包时引入冗余的Spark核心库，减少jar体积

内容的提问来源于stack exchange，提问作者Laglangyue