Spark Scala UDF序列化失败：SerializedLambda类转换异常解析

原序列化失败的根源 #

• Scala里的lambda或匿名函数遵循Java序列化规范，序列化时会被转成java.lang.invoke.SerializedLambda对象，而非直接序列化函数实例本身。
• 你的基类UDFWithAccumulator里的fn字段声明为Scala的FunctionX类型（比如Function1、Function2），子类把具体lambda逻辑赋值给这个字段后，序列化时fn会被替换成SerializedLambda。
• Spark在Executor节点反序列化UDF实例时，会尝试把SerializedLambda直接赋值给FunctionX类型的fn字段，但SerializedLambda并不是FunctionX的子类，JVM没法完成类型转换，于是抛出java.lang.ClassCastException。
• 核心问题是：Spark的序列化流程没处理SerializedLambda到目标FunctionX类型的转换——这个转换需要依赖lambda类的元数据和特定反序列化逻辑，直接存储函数字段会跳过这个关键步骤。

修复方案生效的原因 #

• 移除基类的fn字段，改用getFunction()方法动态获取函数实例，相当于把函数实例的创建延迟到了反序列化完成之后。
• 当UDF实例在Executor上反序列化完成后，调用getFunction()时，会触发子类中函数逻辑的初始化（如果是lambda，会通过SerializedLambda重建出正确的FunctionX实例），这时候类型完全匹配。
• 这种方式避开了把SerializedLambda直接存在实例字段里，而是通过方法调用间接获取函数，让JVM的lambda反序列化逻辑正常运作，自然解决了类型转换异常。

内容的提问来源于stack exchange，提问作者elad.gur