Jar安装的Case Class在Databricks创建StructType/Schema失败如何解决

通过ScalaReflection从Case Class生成Schema，将包含Case Class的Jar包安装到Databricks 8.3集群后，运行以下代码抛出重复注解异常：

ScalaReflection.schemaFor[TESTCaseClass].dataType.asInstanceOf[StructType]

异常信息：

AnnotationFormatError: Duplicate annotation for class: interface scala.reflect.ScalaLongSignature: @scala.reflect.ScalaLongSignature

涉及版本信息：

• Scala版本 : 2.12.10
• Spark版本 : 3.1.1
• Databricks集群运行时版本 : 8.3

该报错核心是类加载冲突导致：你打包Jar时误将Scala标准库的类文件打进了自有Jar包，和Databricks集群自带的Scala 2.12.10运行环境的相同类重复加载，反射读取Case Class的注解时就会检测到重复的ScalaLongSignature注解。

1. 调整打包配置排除Scala、Spark依赖
   打包时将Scala标准库、Spark相关依赖的scope设为provided，依赖由集群运行时提供，不要打入自有Jar包：

   • sbt配置参考：

   libraryDependencies ++= Seq(
     "org.scala-lang" % "scala-library" % "2.12.10" % Provided,
     "org.apache.spark" %% "spark-sql" % "3.1.1" % Provided
   )
   

   • maven配置参考：

   <dependencies>
     <dependency>
       <groupId>org.scala-lang</groupId>
       <artifactId>scala-library</artifactId>
       <version>2.12.10</version>
       <scope>provided</scope>
     </dependency>
     <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-sql_2.12</artifactId>
       <version>3.1.1</version>
       <scope>provided</scope>
     </dependency>
   </dependencies>
   

2. 统一编译与运行环境的Scala版本
   本地编译Jar使用的Scala版本必须严格和集群自带的Scala 2.12.10版本一致，不要使用2.12.x的其他小版本编译，避免版本不兼容导致的注解异常。

3. 兜底方案：手动定义StructType
   如果调整打包配置后仍有问题，可以直接放弃反射方案，手动定义Schema适配环境：

   import org.apache.spark.sql.types._
   def TestSchema: StructType = StructType(Seq(
     StructField("VAR1", StringType, nullable = true),
     StructField("VAR2", StringType, nullable = true)
   ))
   

4. 验证修复
   重新打包Jar后，先卸载集群上的旧版本Jar，重启集群后再安装新Jar，重新运行代码即可。

内容的提问来源于stack exchange，提问作者Ganesh