Spark Scala UDF字符串转Map时NullPointerException异常排查

• 首要触发原因：Spark DataFrame 中存储的 NULL 值传入 UDF 时是 Scala 原生的 null 引用，不是你代码中匹配的字符串 "null"。你在代码第一行直接调用 c.split(",")，当输入为原生 null 时会直接触发空指针异常，你本地测试传入字符串 "null" 当然不会复现问题。
• 其他潜在风险：
  • 你的 match 分支仅覆盖了两种场景，遇到既不是 "null" 也不匹配正则的输入时会抛出 MatchError
  • 你提供的样例数据末尾带逗号，split 后会生成空字符串元素，直接调用 split("=") 再取索引1会抛出数组越界异常
  • 部分元素可能不存在 = 分隔符，同样会导致数组越界
  • 你使用的正则逻辑冗余，仅能捕获分隔符=本身，没有实际校验作用

修正后的UDF代码如下：

import org.apache.spark.sql.functions.udf

def convertToMapUDF = udf((c: String) => {
  // 优先处理原生null和字符串"null"的场景，避免空指针
  if (c == null || c.trim == "null") {
    Some(Map.empty[String, String])
  } else {
    val resultMap = c.split(",")
      .map(_.trim)
      .filter(_.nonEmpty) // 过滤空元素，兼容末尾带逗号的输入
      .flatMap { item =>
        // 限制最多拆分1次，避免value中包含=时被错误拆分
        val kvArr = item.split("=", 2)
        if (kvArr.length == 2) Some(kvArr(0) -> kvArr(1)) else None // 跳过不符合格式的元素
      }.toMap
    Some(resultMap)
  }
})

val splitColList = List("r_split")
val d = ft.select(splitColList.map(c => convertToMapUDF(col(c))): _*)

• 新增了原生null值的判断逻辑，从根源避免空指针异常
• 增加空元素过滤逻辑，兼容末尾带逗号的输入格式
• 拆分键值对时限制最多拆分1次，避免value中包含=时被错误拆分
• 新增键值对格式校验，跳过不符合要求的元素，避免数组越界
• 移除了冗余的正则匹配逻辑，降低运行开销

内容的提问来源于stack exchange，提问作者mehere