如何在单分支构建兼容Spark 3.0/3.1/3.2多版本流接口的连接器

方案1：SBT版本分区源码 + 条件编译（无需多分支维护） #

这个是Spark生态连接器适配多版本的主流方案，仅需维护单一主干分支，可按指定Spark版本编译出对应兼容包：

1. 修改build.sbt配置 #

增加版本号解析逻辑，为不同Spark版本绑定独立的源码目录：

val sparkVer = sysPropOrDefault("version","3.0.3")
// 解析Spark主/次版本号用于条件判断
val (sparkMajor, sparkMinor) = sparkVer.split("\\.").take(2) match {
  case Array(m, n) => (m.toInt, n.toInt)
  case _ => throw new IllegalArgumentException(s"无效Spark版本: $sparkVer")
}
// 追加对应版本的专属源码目录
Compile / unmanagedSourceDirectories += (Compile / sourceDirectory).value / s"spark-$sparkMajor.$sparkMinor"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVer % Provided,
  "org.apache.spark" %% "spark-sql" % sparkVer % Provided,
  "org.apache.hadoop" % "hadoop-common" % hadoopVer % Provided,
  "org.apache.hadoop" % "hadoop-mapreduce-client-core" % hadoopVer % Provided,
  // 其余原有依赖保持不变
)

2. 源码目录组织规则 #

• 通用逻辑全部放在默认的src/main/scala目录下，所有版本共用这部分代码
• 版本差异的接口实现放入对应版本的专属目录：
  • Spark 3.0.x 版本专属代码放入src/main/spark-3.0目录，此处实现SupportsStreamingUpdate特质
  • Spark 3.1.x 版本专属代码放入src/main/spark-3.1目录，此处实现重命名后的SupportsStreamingUpdateAsAppend特质
• 不同版本的差异实现需对外暴露完全一致的类名、方法签名，通用逻辑直接调用该统一类即可，编译时会自动引入对应版本的实现

3. 打包命令 #

编译时指定对应Spark版本参数即可打出对应兼容包：

• 适配Spark 3.0.0：sbt -Dversion=3.0.0 package
• 适配Spark 3.1.0：sbt -Dversion=3.1.0 package

方案2：运行时反射适配（单包兼容所有版本） #

如果不需要区分多版本分发包，可通过反射实现单包兼容所有目标Spark版本：

• 自定义统一业务接口，封装你需要用到的流处理更新相关的所有方法
• 分别编写两个实现类：一个实现Spark 3.0的SupportsStreamingUpdate特质，一个实现Spark 3.1的SupportsStreamingUpdateAsAppend特质
• 连接器初始化时通过反射判断当前Spark运行环境的classpath中存在哪个特质，动态加载对应的实现类即可
  该方案仅需发布一个包，缺点是存在极微小的反射性能开销，接口变动较大时需要调整反射逻辑。

注意事项 #

• 版本差异逻辑需和通用逻辑完全解耦，不要在通用代码中硬编码版本判断逻辑
• 新增支持Spark版本时仅需新增对应版本的专属源码目录，修改build.sbt版本适配规则即可，无需改动原有通用代码
• 可配置CI流水线自动批量编译所有支持的Spark版本对应的安装包，无需人工操作

内容的提问来源于stack exchange，提问作者Rahul