Spark 2.2中如何将DataFrame列值转为字符串进行拼接？

嘿，这个问题我之前也踩过坑！在Spark里不能直接用常规的字符串拼接方式处理Column对象，因为col("col2")代表的是DataFrame中的一列表达式，不是内存里的单个字符串值，得用Spark提供的函数来完成拼接操作。

核心思路 #

你需要把自定义的常量字符串转换成Spark能识别的Column类型（用lit()函数），然后用Spark的字符串拼接函数或者Column的+操作符来完成拼接。

方法1：使用concat()函数（推荐） #

concat()是Spark专门用来拼接字符串列的函数，它可以接受多个Column参数，自动把对应位置的字符串值拼接到一起。

import org.apache.spark.sql.functions.{when, col, lit, concat}

// 如果col1为空，就拼接col2和"some_string"，否则保留原col1的值
val df1 = df.withColumn(
  "col1",
  when(col("col1").isNull, concat(col("col2"), lit("some_string"))).otherwise(col("col1"))
)

方法2：使用+操作符 #

当两个操作数都是Column类型时，Spark的+操作符对字符串列会执行拼接操作（注意：如果是数值列会执行加法，所以要确保col2是字符串类型）：

import org.apache.spark.sql.functions.{when, col, lit}

val df1 = df.withColumn(
  "col1",
  when(col("col1").isNull, col("col2") + lit("some_string")).otherwise(col("col1"))
)

额外注意：如果col2不是字符串类型 #

如果col2原本不是String类型，需要先把它转换成字符串，用cast()函数：

import org.apache.spark.sql.functions.{when, col, lit, concat}
import org.apache.spark.sql.types.StringType

val df1 = df.withColumn(
  "col1",
  when(col("col1").isNull, concat(col("col2").cast(StringType), lit("some_string"))).otherwise(col("col1"))
)

这样就能实现你想要的效果：当col1为空时，把col2的字符串值和自定义字符串拼接后赋值给col1啦！

内容的提问来源于stack exchange，提问作者D P