Spark跨机器部署：Master与Worker通信遇InvalidClassException错误

核心排查与解决步骤 #

• 确保Spark二进制包完全同源：即使版本号显示一致，也要保证Master和Worker使用的是同一压缩包解压的Spark文件，避免官方预编译包与自行编译包、不同编译环境生成的包之间的类结构差异。
  • 验证方式：在两台节点执行spark-submit --version，对比输出的完整版本信息，包括Scala版本、编译日期等细节。
• 同步Docker镜像：使用Docker部署时，必须保证两台机器的Spark镜像ID完全一致，避免标签相同但内容不同的镜像。
  • 验证方式：在两台机器执行docker inspect <spark镜像名> | grep Id，确认输出的镜像ID完全相同，若不同则重新拉取或拷贝镜像。
• 排查自定义Spark修改：如果对Spark源码做过任何修改（哪怕是微小调整），会导致类的serialVersionUID自动变更，必须保证Master和Worker的修改完全同步，或改用未修改的官方版本。
• 切换为Kryo序列化：Java序列化对类版本高度敏感，改用Spark推荐的Kryo序列化可规避此类问题。
  • 修改spark-defaults.conf配置：

    spark.serializer org.apache.spark.serializer.KryoSerializer
    spark.kryo.registrationRequired true
    

  • 或在代码中直接设置：

    val conf = new SparkConf()
      .setAppName("YourApplication")
      .setMaster("spark://<master-ip>:7077")
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .set("spark.kryo.registrationRequired", "true")
    

问题本质解释 #

报错中的java.io.InvalidClassException是因为Master和Worker节点上的org.apache.spark.storage.BlockManagerMessages$RegisterBlockManager类的序列化版本号（serialVersionUID）不匹配。Java序列化机制会通过这个版本号验证类的一致性，以下场景会引发该问题：

1. Spark二进制包来源不同：比如Master用官方预编译包，Worker用基于源码自行编译的包，即使版本号相同，编译环境、依赖的Scala版本差异都会导致类结构变化。
2. Docker镜像不一致：拉取镜像时网络异常导致镜像不完整，或者使用的标签对应不同版本的镜像。
3. 自定义修改Spark源码：哪怕只是修改类中的注释、调整字段顺序，编译器都会生成新的serialVersionUID，导致两端类版本不兼容。

内容的提问来源于stack exchange，提问作者Antônio Pereira