Spark DataFrame使用explode函数异常：cid1列为空原因排查

咱们来拆解一下你遇到的问题：明明处理后的cid列有可见值，但执行explode(split($"cid", ","))后得到的cid1却为空。最可能的原因和对应的解决办法如下：

1. 未正确保存withColumn的处理结果 #

Spark的DataFrame是不可变的，withColumn方法不会修改原DataFrame，而是返回一个新的DataFrame。如果你的代码是这样写的：

// 错误：没有把处理结果赋值给变量
df2.withColumn("cid", regexp_replace(df2("cid"), "\"", ""))
val df3 = df2.select($"trentyid".as("trentyid"), explode(split($"cid", ",")).as("cid1"))

那后续操作使用的还是未处理的原df2，如果原cid是仅包含双引号的空字符串（比如"\"\""），替换后会变成空，最终导致cid1为空。

解决办法：把withColumn的结果赋值给新变量：

val df2Processed = df2.withColumn("cid", regexp_replace(df2("cid"), "\"", ""))
val df3 = df2Processed.select($"trentyid", explode(split($"cid", ",")).as("cid1"))

2. split的分隔符未匹配实际格式 #

你看到的cid值是1, 5, 16，但实际存储的可能是全角逗号（，）而非半角逗号（,），或者逗号前后有多个空格/制表符，导致split(",")无法正确分割，得到的数组只有一个完整字符串元素。如果恰好这个元素是空白（比如原cid是仅带空格的字符串），就会出现cid1为空的情况。

另外，Spark的split第二个参数是正则表达式，推荐用\\s*,\\s*匹配带空白的逗号，同时自动去掉分割后元素的前后空格：

val df3 = df2Processed.select($"trentyid", explode(split($"cid", "\\s*,\\s*")).as("cid1"))

3. 处理后的cid实际为空字符串 #

如果原cid列的值是仅包含双引号的字符串（比如"\"\""），执行regexp_replace后会变成空字符串。此时split(",")会返回包含一个空字符串的数组[""]，explode后就会显示为空的cid1列。

解决办法：先过滤空值再处理：

val df2Processed = df2.withColumn("cid", regexp_replace(df2("cid"), "\"", ""))
                      .filter(length($"cid") > 0)
val df3 = df2Processed.select($"trentyid", explode(split($"cid", "\\s*,\\s*")).as("cid1"))

4. 列名拼写失误 #

虽然你给出的示例里列名是trentyid，但你提到的类型是trendyid，检查一下代码中所有列名的拼写，确保$"cid"引用的是正确的处理后列。

内容的提问来源于stack exchange，提问作者Dipanjan Das