使用Spark聚合函数时如何忽略指定字符（如N）

可以通过先将col1中的字符"N"转换为null，再结合first函数的ignoreNulls=true参数来实现忽略"N"的效果，修改后的代码如下：

import org.apache.spark.sql.functions.{first, count, when}

df.groupBy("grp")
  .agg(
    first(when(df("col1") =!= "N", df("col1")), ignoreNulls = true),
    count("col2")
  ).show()

逻辑说明： #

• when(df("col1") =!= "N", df("col1"))会对col1列进行处理：当列值不等于"N"时保留原数值，等于"N"时返回null
• 之后调用first函数并设置ignoreNulls=true，就会像忽略原生null值一样忽略掉被转换为null的"N"值，最终取到每组中第一个非"N"的col1值

内容的提问来源于stack exchange，提问作者John