如何在Spark Scala中为Strategy trait注册KryoSerializer？

问题根源 #

Kryo不会自动注册trait的所有实现类，尤其是Scala的单例对象——它们的实际运行时类是自动生成的内部类（格式为单例对象名$），和你注册的Strategy trait并非同一类型。加上你开启了spark.kryo.registrationRequired=true，所有需要序列化的类必须显式注册，否则会触发序列化异常。

解决办法 #

你需要把所有实现Strategy的单例对象对应的类都明确注册进去，具体有两种实现方式：

方式一：直接在SparkConf中注册

通过单例对象.getClass获取每个单例的实际类，加入registerKryoClasses的数组：

val conf = new SparkConf()
  .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .set("spark.kryo.registrationRequired", "true")
  .registerKryoClasses(Array(
    classOf[Strategy],
    StrategyA.getClass, // 替换成你的单例对象名
    StrategyB.getClass, // 其他实现Strategy的单例
    // 依次添加所有相关单例类
  ))

方式二：自定义Kryo注册器（适合单例较多的场景）

写一个注册器类统一管理需要注册的类：

import com.esotericsoftware.kryo.Kryo
import org.apache.spark.serializer.KryoRegistrator

class StrategyKryoRegistrator extends KryoRegistrator {
  override def registerClasses(kryo: Kryo): Unit = {
    kryo.register(classOf[Strategy])
    kryo.register(StrategyA.getClass)
    kryo.register(StrategyB.getClass)
    // 补充其他单例类
  }
}

然后在SparkConf中指定这个注册器：

val conf = new SparkConf()
  .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .set("spark.kryo.registrationRequired", "true")
  .set("spark.kryo.registrator", "com.yourpackage.StrategyKryoRegistrator") // 替换为你的实际包路径

补充说明 #

Scala单例对象是全局唯一实例，Kryo序列化时会保留这一特性，不会生成新实例。务必确保所有参与序列化的Strategy实现类都完成注册，避免运行时抛出ClassNotRegisteredException。

内容的提问来源于stack exchange，提问作者gaurav narang