Spark与Spring Boot集成遇阻：ClassCastException异常排查求助

这个Scala集合序列化代理的类型转换异常我之前在Spark和Spring Boot集成时也碰到过，大概率是序列化兼容性或者依赖冲突的问题，咱们一步步来拆解：

异常原因分析 #

• Scala版本不匹配：Spark对Scala版本有强依赖（比如Spark 3.x系列对应Scala 2.12），如果Spring Boot项目中引入的Scala版本和Spark依赖的版本不一致，序列化时就会出现这类类型转换错误——不同版本的Scala集合序列化代理类结构存在差异，导致反序列化时无法正确转换。
• 序列化方式冲突：Spring Boot环境中如果默认使用Java序列化，而非Spark推荐的Kryo序列化，或者Kryo配置未正确注册Scala集合类型，也会触发该异常。
• 依赖包冲突：Spring Boot的自动依赖管理可能间接引入了和Spark冲突的Scala相关jar包，比如某些starter依赖了不同版本的Scala库，导致类加载混乱。

具体解决办法 #

1. 强制对齐Scala版本 #

先确认你的Spark版本对应的Scala版本（比如Spark 3.3.x对应Scala 2.12.15），然后在项目的依赖管理中锁定统一版本：

<!-- Maven示例，在dependencyManagement节点中配置 -->
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version> <!-- 与Spark依赖的Scala版本保持一致 -->
        </dependency>
    </dependencies>
</dependencyManagement>

2. 配置Kryo序列化 #

Spark推荐使用Kryo序列化来提升性能和兼容性，在初始化SparkSession时指定并注册Scala集合类型：

SparkSession spark = SparkSession.builder()
        .appName("SpringBootSparkIntegration")
        .master("local[*]") // 生产环境替换为集群地址
        .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        .config("spark.kryo.registeredClasses", "scala.collection.immutable.List,scala.collection.mutable.HashMap")
        .getOrCreate();

3. 排除冲突依赖 #

用依赖分析命令排查冲突（Maven用mvn dependency:tree，Gradle用./gradlew dependencies），找出和Spark冲突的Scala库，然后在Spring Boot的依赖中排除：

<!-- 示例：排除Spring Boot starter中可能冲突的Scala依赖 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
        </exclusion>
    </exclusions>
</dependency>

4. 检查RDD的引用与传递 #

确保在Spring Boot的Bean或Service中，RDD对象没有被意外序列化到集群节点——避免在非序列化类中持有RDD引用，同时保证所有传递给Spark任务的自定义对象都实现了Serializable接口（如果使用Java序列化的话）。

内容的提问来源于stack exchange，提问作者moun