Zeppelin Spark段落运行UDF十余次后报Malformed class name内部错误

这个错误是Zeppelin的Scala REPL动态类命名机制和Spark UDF代码生成逻辑共同作用导致的：

• Zeppelin每次运行段落时，都会为段落内定义的匿名函数（你写的UDF函数字面量）生成带递增序号的动态类名，格式类似$lineN.$read$$iw$$iw$$anonfun$1，其中N随运行次数不断增大，类名长度持续变长。
• Spark生成UDF执行代码时，会调用java.lang.Class.getSimpleName获取UDF类的简化名称，当动态类名长度超过Java底层处理阈值时，getSimpleName内部的字符串截取逻辑会出现负索引，抛出你遇到的StringIndexOutOfBoundsException，最终包装为Malformed class name错误。
• 重启Zeppelin后解释器会话重置，动态类名的序号重新从0开始计数，因此问题会临时消失，直到运行次数足够多、类名长度再次触达阈值后复现。

按优先级从高到低可选以下方案：

1. 固定UDF类名，避免动态生成匿名类
   将UDF逻辑定义为显式的单例对象方法，类名固定不会随运行次数变化：

import java.security.MessageDigest

// 显式定义单例对象，类名固定
object Md5Udf {
  def covertMd5(input: String): String = {
    if (input == null || input.isEmpty) null
    else if (input.startsWith("_")) input
    else {
      val md5 = MessageDigest.getInstance("MD5")
      val byteArray = input.getBytes
      val md5Bytes = md5.digest(byteArray)
      val hexValue = new StringBuilder()
      for (b <- md5Bytes) {
        val str = b & 0xff
        if (str < 16) hexValue.append("0")
        hexValue.append(Integer.toHexString(str))
      }
      hexValue.toString
    }
  }
}

// 注册UDF，传入固定类的方法引用
spark.udf.register("covertMd5", Md5Udf.covertMd5 _)

spark.sql("""select covertMd5(col) from table""")

2. UDF仅注册一次，避免重复执行注册逻辑
   将UDF注册逻辑单独放在Zeppelin的一个初始化段落中，仅在解释器启动后运行一次，后续运行SQL查询的段落不要包含UDF注册代码，避免重复生成匿名类。
3. （可选）如果使用的Spark版本较老，可以升级到Spark 2.4+版本，该版本对ScalaUDF的类名处理逻辑做了兼容优化，可规避大部分类名过长的报错。

内容的提问来源于stack exchange，提问作者magus0219