Spark SQL关联Hive表触发NullPointerException问题求助

可能的触发原因 #

• 字段值为Null：哪怕你给出的示例数据里card表的card_desc有值，实际业务数据中该字段很可能存在Null记录。你的UDF直接调用raw.split("|")时，若raw为Null就会直接抛出空指针异常。
• 正则元字符未转义："|"是正则表达式中的特殊元字符（表示逻辑或），直接用split("|")会把字符串的每个字符都拆分开，不仅达不到你预期的按|分割的效果，还会在字符串为空或Null时加剧异常风险。

修复方案 #

1. 修正UDF逻辑，处理Null值并正确转义分隔符 #

修改你的UDF，先判断输入是否为Null，同时对|进行转义（避免正则元字符的干扰）：

import org.apache.spark.sql.api.java.UDF1
import java.util.regex.Pattern

// 方式1：手动转义分隔符
val getListUdf = udf((raw: String) => {
  if (raw == null) Array.empty[String]
  else raw.split("\\|")
})

// 方式2：使用Pattern.quote处理元字符（更通用，适合任意特殊分隔符）
val getListUdf = udf((raw: String) => {
  if (raw == null) Array.empty[String]
  else raw.split(Pattern.quote("|"))
})

2. 关联表时的额外防护 #

如果暂时不想修改UDF，也可以在关联SQL中先过滤Null值或给Null设置默认值：

SELECT o.*, c.card_desc, getListUdf(nvl(c.card_desc, "")) AS card_list
FROM omega o
JOIN card c ON o.card_id = c.card_id
WHERE c.card_desc IS NOT NULL

这样就能有效避免空指针异常，同时实现你预期的按|拆分card_desc的需求。

内容的提问来源于stack exchange，提问作者秦时明月