Spark Scala中如何让coalesce同时处理NULL值与空字符串？

Spark原生的coalesce函数确实只识别NULL值，不会把空字符串（""）或者空白字符串视为“无效”值，所以才会出现你例子里第一行结果还是空字符串的情况。下面是几种最优的实现方法，按推荐程度排序：

方法1：用when将空字符串转为NULL，再配合coalesce（推荐，支持多列场景） #

这种方法的核心思路是先把空/空白字符串转换成NULL，让coalesce能正常识别并取下一个非空值。用trim还能覆盖有空白字符的场景（比如" "），如果只需要严格匹配空字符串，可以去掉trim：

import org.apache.spark.sql.functions._

val df2 = Seq( ("","1"), ("null","15_20") ).toDF("c1","c2")

df2.withColumn("FirstNonNullOrBlank", 
  coalesce(
    when(trim(col("c1")) === "", null).otherwise(col("c1")),
    col("c2")
    // 如果有更多列，可以继续往后追加，比如col("c3"), col("c4")
  )
).show()

执行后就能得到你想要的结果：

+----+-----+-------------------+
|  c1|   c2|FirstNonNullOrBlank|
+----+-----+-------------------+
|    |    1|                  1|
|null|15_20|              15_20|
+----+-----+-------------------+

方法2：直接用case when表达式（适合两列场景，更简洁） #

如果只需要处理两列，直接用when...otherwise逻辑会更直观，不需要嵌套coalesce：

df2.withColumn("FirstNonNullOrBlank",
  when(trim(col("c1")).nonEmpty, col("c1"))
    .otherwise(col("c2"))
).show()

这个写法和方法1效果完全一致，只是更适合列数少的简单场景。

方法3：自定义UDF（不推荐，性能不如内置函数） #

虽然可以写一个UDF来实现逻辑，但Spark对内置函数有专属优化（比如谓词下推、代码生成），UDF属于黑盒无法享受这些优化，所以只在特殊复杂场景下考虑：

import org.apache.spark.sql.functions.udf

// 定义UDF：如果第一个字符串非空（去空白后）则返回它，否则返回第二个
val coalesceBlank = udf((s1: String, s2: String) => {
  Option(s1).filter(_.trim.nonEmpty).getOrElse(s2)
})

df2.withColumn("FirstNonNullOrBlank", coalesceBlank(col("c1"), col("c2"))).show()

总结 #

• 优先选择方法1或方法2，用Spark内置函数实现，性能和可读性都更优；
• 如果需要处理多列，方法1的扩展性更强；
• 尽量避免用UDF，除非内置函数无法满足复杂定制逻辑。

内容的提问来源于stack exchange，提问作者abc_spark