Apache Spark UDF在Docker虚拟机集群执行时遭遇java.lang.IllegalStateException序列化异常求助

看起来你遇到的核心问题是Spark UDF的序列化兼容性问题，不管是用Kryo还是Java序列化，本质都是自定义UDF的实例无法在Docker集群的Worker节点上正确反序列化。结合你提供的错误日志和代码，我整理了几个针对性的解决方案：

1. 修复Java序列化的SerializedLambda类转换异常 #

这个错误的根源是你可能用了Lambda表达式来定义UDF，而Lambda的序列化依赖SerializedLambda类，在集群环境（尤其是Docker这种隔离环境）下，类加载器的差异会导致反序列化失败。解决方法：

• 确保你的Factorial类显式实现Serializable接口，并实现Spark对应的UDF接口（比如单参数用UDF1），不要用Lambda：

  // 改写Factorial类，实现UDF1和Serializable
  public class Factorial implements UDF1<Integer, Long>, Serializable {
      @Override
      public Long call(Integer num) throws Exception {
          // 这里写你的阶乘计算逻辑
          long fact = 1;
          for (int i = 1; i <= num; i++) {
              fact *= i;
          }
          return fact;
      }
  }
  

• 注册UDF时直接使用类实例，而不是Lambda包装：

  // 替换原来的udf() Lambda方式
  UserDefinedFunction factorialFunction = new Factorial();
  sparkSession.udf().register("factorialFunction", factorialFunction, DataTypes.LongType);
  

2. 修复Kryo序列化的unread block data异常 #

这个错误通常是Kryo序列化时，有些需要序列化的类没有被注册，或者注册的类不完整导致的。调整Kryo配置：

• 暂时关闭spark.kryo.registrationRequired，先验证是否是注册不全的问题：

  new SparkConf()
      .setAppName(appName)
      .setMaster(masterUri)
      .setJars(new String[]{"target/hello-spark-0.0.1-SNAPSHOT.jar"})
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .set("spark.kryo.registrationRequired", "false") // 先关闭必填注册
      .registerKryoClasses(new Class[]{
          Factorial.class, WordCountService.class, GenericRowWithSchema.class,
          StructType.class, StructField.class, StructField[].class, IntegerType$.class,
          Metadata.class, Integer[].class, UDF1.class // 添加UDF1接口到注册列表
      })
  

• 如果关闭后问题解决，再逐步添加缺失的类到注册列表，最后再打开registrationRequired以保证序列化效率。

3. 其他关键检查点 #

• 版本一致性：确保Docker集群中所有Worker节点的Spark版本和本地完全一致（你的是3.3.0），版本不匹配会导致序列化协议不兼容。
• Jar包加载验证：虽然Driver日志显示Jar已添加，但可以查看Worker节点的日志，确认hello-spark-0.0.1-SNAPSHOT.jar是否被正确加载到类路径中。
• 避免非序列化引用：如果Factorial是内部类，必须改为静态内部类，否则会持有外部类的引用，导致序列化失败。

按照以上步骤调整后，应该能解决Docker集群中的UDF执行异常问题。

内容的提问来源于stack exchange，提问作者Tibor