如何在Spark DataFrame中按条件拼接字段？

这个需求我之前做项目的时候刚好遇到过，用Spark内置的字符串和条件函数就能轻松实现，不用写复杂的UDF。下面给你Scala和Python两种常用语言的解决方案：

Scala 实现 #

import org.apache.spark.sql.functions._

// 构建示例DataFrame
val df = spark.createDataFrame(Seq(
  (null: String, "A"),
  ("B", null: String),
  ("C", "D"),
  (null: String, null: String)
)).toDF("col1", "col2")

// 生成目标字段col3
val resultDF = df.withColumn("col3", 
  concat(
    lit("\"{"), // 拼接开头的双引号和左大括号
    concat_ws(", ", 
      // 当col1非空时，拼接"col1:值"的字符串
      when(col("col1").isNotNull, concat(lit("col1:"), col("col1"))),
      // 当col2非空时，拼接"col2:值"的字符串
      when(col("col2").isNotNull, concat(lit("col2:"), col("col2")))
    ),
    lit("}\"") // 拼接右大括号和结尾的双引号
  )
)

// 查看结果
resultDF.show(false)

Python 实现 #

from pyspark.sql import functions as F

# 构建示例DataFrame
df = spark.createDataFrame([
    (None, "A"),
    ("B", None),
    ("C", "D"),
    (None, None)
], ["col1", "col2"])

# 生成目标字段col3
result_df = df.withColumn("col3", 
    F.concat(
        F.lit('"{"'), # 开头的双引号+左大括号，用单引号包裹避免转义
        F.concat_ws(", ", 
            # col1非空时拼接键值对
            F.when(F.col("col1").isNotNull(), F.concat(F.lit("col1:"), F.col("col1"))),
            # col2非空时拼接键值对
            F.when(F.col("col2").isNotNull(), F.concat(F.lit("col2:"), F.col("col2")))
        ),
        F.lit('}"') # 右大括号+结尾的双引号
    )
)

# 查看结果
result_df.show(truncate=False)

核心逻辑说明 #

1. concat_ws的妙用：它会自动忽略null值，只拼接非空的键值对，并且用指定的分隔符（这里是, ）连接，完美适配我们需要只保留非空字段的需求。
2. 条件判断when：针对每个字段判断是否非空，非空则生成对应的colX:值字符串，空则返回null，交给concat_ws自动过滤。
3. 外层concat：负责包裹双引号和大括号，让最终的col3格式完全符合要求。

这种方式的好处是扩展性极强——如果后续需要增加更多字段，只需要在concat_ws里新增对应的when语句即可，不用修改核心逻辑。

内容的提问来源于stack exchange，提问作者Muz