Spark 3.x升级遇KryoSerializer异常：无法找到OpenHashMap相关类

核心问题根源 #

该异常并非直接由OpenHashMap导致，而是Spark 3.x对Kryo序列化的闭包捕获逻辑更严格——循环创建StringIndexer时，若隐式引用了循环变量的闭包，会意外捕获Spark内部的动态生成Lambda类（如OpenHashMap关联的Lambda），这类类无法被正确序列化。切换JavaSerializer无效是因为Java序列化同样无法处理动态生成的内部Lambda类。

具体解决方案 #

1. 本地化循环变量，消除闭包隐式引用 #

循环中直接使用索引变量会导致闭包捕获整个循环上下文，需将列名变量本地化，切断对外部循环变量的引用：

// 错误写法：直接引用循环索引i，触发闭包捕获
val cols = Array("col1", "col2", "col3")
val indexers = (0 until cols.length).map(i => 
  new StringIndexer()
    .setInputCol(cols(i))
    .setOutputCol(cols(i) + "_idx")
)

// 正确写法：直接遍历列名，无闭包引用
val indexers = cols.map(colName => 
  new StringIndexer()
    .setInputCol(colName)
    .setOutputCol(colName + "_idx")
)

// 若必须用索引遍历，先本地化变量
val indexers = (0 until cols.length).map { i =>
  val targetCol = cols(i)
  new StringIndexer()
    .setInputCol(targetCol)
    .setOutputCol(targetCol + "_idx")
}

2. 显式注册Kryo序列化类 #

强制Kryo注册必要的Spark内部类和ML组件，避免动态类序列化失败：

val sparkConf = new SparkConf()
  .setAppName("YourApp")
  .setMaster("local[*]")
  .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .set("spark.kryo.registrationRequired", "true")

// 注册必要类
sparkConf.registerKryoClasses(Array(
  classOf[org.apache.spark.util.collection.OpenHashMap[_, _]],
  classOf[org.apache.spark.ml.feature.StringIndexer],
  classOf[org.apache.spark.ml.feature.StringIndexerModel]
))

注意：若开启registrationRequired，需同时注册所有自定义的UDF、模型类等。

3. 关闭Kryo Unsafe模式 #

Spark 3.x默认启用Kryo Unsafe模式，可能加剧内部类序列化问题，关闭后改用标准Kryo序列化：

sparkConf.set("spark.kryo.unsafe", "false")

4. 检查Pipeline构建逻辑 #

确保所有PipelineStage实例都是显式初始化，避免通过匿名类或动态代理生成组件——这类组件的序列化逻辑在Spark 3.x中被严格限制。

内容的提问来源于stack exchange，提问作者Zachary Steudel