Spark提交作业遇ClassCastException求助：FiniteDuration类型转换异常

这问题我之前踩过一模一样的坑！看起来离谱的“同类型却无法赋值”异常，本质是Scala类加载器冲突导致的——虽然两个scala.concurrent.duration.FiniteDuration的全限定类名完全一致，但它们被不同的类加载器加载，JVM就会判定这是两个完全不同的类型，所以抛出了这个诡异的ClassCastException。

问题根源拆解 #

你的JAR用Scala 2.10.5编译，但大概率存在以下情况：

• Spark集群使用的Scala版本和2.10.5不匹配（比如Spark 1.x系列对应Scala 2.10，但如果集群是Spark 2.x可能默认用Scala 2.11）；
• 你依赖的kafka_2.10-0.8.2.0.jar中包含了Scala核心库的类，和Spark自带的Scala类发生了冲突，导致同一个类被不同类加载器加载，JVM不认它们是同一个类型。

具体解决方案 #

• 严格对齐编译与运行的Scala版本
  先确认你的Spark集群对应的Scala版本（比如Spark 1.x对应Scala 2.10，Spark 2.0-2.3对应Scala 2.11，Spark 2.4+支持Scala 2.12），确保你的项目完全用对应版本的Scala编译，包括所有依赖的Scala版本前缀（比如kafka的kafka_2.10对应Scala 2.10，绝对不要混用kafka_2.11）。

• 排除依赖中的Scala核心库
  在你的构建工具（Maven/Gradle）中，把kafka依赖里的Scala库排除掉，避免和Spark自带的Scala类冲突：
  Maven配置示例：

  <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka_2.10</artifactId>
      <version>0.8.2.0</version>
      <exclusions>
          <exclusion>
              <groupId>org.scala-lang</groupId>
              <artifactId>scala-library</artifactId>
          </exclusion>
          <exclusion>
              <groupId>org.scala-lang</groupId>
              <artifactId>scala-reflect</artifactId>
          </exclusion>
      </exclusions>
  </dependency>
  <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-clients</artifactId>
      <version>0.8.2.0</version>
  </dependency>
  

  Gradle配置示例：

  implementation('org.apache.kafka:kafka_2.10:0.8.2.0') {
      exclude group: 'org.scala-lang', module: 'scala-library'
      exclude group: 'org.scala-lang', module: 'scala-reflect'
  }
  implementation 'org.apache.kafka:kafka-clients:0.8.2.0'
  

• 用Spark的--packages参数自动管理依赖
  如果你不想手动处理依赖冲突，可以直接用Spark自带的依赖管理功能，提交作业时指定kafka的依赖包，让Spark自动下载并加载兼容的版本：

  spark-submit \
      --packages org.apache.kafka:kafka_2.10:0.8.2.0,org.apache.kafka:kafka-clients:0.8.2.0 \
      --class com.your.package.YourMainClass \
      your-application.jar
  

• 调整类加载器优先级（谨慎使用）
  如果以上方法都无效，可以尝试设置Spark的类加载器参数，让用户自定义的类优先加载：

  spark-submit \
      --conf spark.driver.userClassPathFirst=true \
      --conf spark.executor.userClassPathFirst=true \
      --class com.your.package.YourMainClass \
      your-application.jar
  

  注意：这个参数可能会导致其他依赖冲突，比如Spark自身的类被用户的类覆盖，所以只在必要时使用。

内容的提问来源于stack exchange，提问作者Sourav Mandal