Spark-Scala自定义UDF写入Delta表报MatchError错误如何解决

• 核心报错是scala.MatchError: a8:9f:e，原UDF的模式匹配没有覆盖所有输入场景，当输入字符串既不匹配.*=.*正则规则，也不等于字符串"null"时，就会抛出匹配错误，直接导致UDF执行失败。
• 原有逻辑存在冗余问题：已经通过Option处理了空值，后续又使用s"$c".toString做匹配，绕开了前置的空值判断；且未覆盖无等号、也非"null"的异常输入场景，是本次报错的直接诱因。
• 隐藏问题：原有拆分键值对的逻辑未处理值中包含等号的情况，也未兼容输入中的空格脏数据，长期使用还会触发其他隐性错误。

优化后的UDF代码如下：

def convertToMapFn(c: String): Map[String,String] = {
  // 统一处理null、空字符串、"null"字符串等空场景
  val input = Option(c).filter(_.trim.nonEmpty).filter(_ != "null").getOrElse(return Map.empty[String, String])
  // 按逗号拆分多个键值对，过滤空项
  input.split(",").map(_.trim).filter(_.nonEmpty).map { item =>
    // 按第一个出现的等号拆分，避免值中包含等号被错误切割
    item.split("=", 2) match {
      case Array(k, v) => k.trim -> v.trim
      // 无等号的条目统一处理为ip_adr对应原值
      case Array(v) => "ip_adr" -> v.trim
    }
  }.toMap
}

val convertToMapUDF = udf(convertToMapFn _)

优化说明：

• 去掉了冗余的正则匹配分支，所有字符串输入都走统一拆分逻辑，不存在匹配遗漏场景，彻底解决MatchError报错
• 拆分键值对时使用split("=", 2)，兼容值中包含等号的合法输入
• 增加trim处理，过滤输入中的空格脏数据
• 统一收敛了所有空场景的处理逻辑，规则更严谨

内容的提问来源于stack exchange，提问作者SanjanaSanju