Spark-Scala中如何使用映射函数处理DataFrame列值生成新列

核心逻辑是基于Spark SQL内置函数提取目标枚举列的首字符，按规则生成对应描述列，全程用Catalyst可优化的内置算子，性能优于自定义UDF。
假设你的原枚举列名为code，待生成的描述列名为code_desc，持有DataFrame变量为df，可按下面两种场景选择实现方式： #

场景1：规则为固定前缀+首字符（完全匹配示例需求） #

需求里所有描述都是固定前缀it starts with 拼接原枚举值的首字符，直接用字符串截取+拼接函数即可实现，后续新增同首字符的枚举值（比如R3、M3）不需要修改代码：

import org.apache.spark.sql.functions.{col, concat, lit, substring}

val resDF = df.withColumn(
  "code_desc",
  concat(lit("it starts with "), substring(col("code"), 1, 1))
)

代码说明：

• substring(col("code"), 1, 1)：截取code列的第1位字符（Spark SQL字符串下标从1开始计数），也就是枚举值的首字母
• concat：把固定前缀字符串和截取到的首字母拼接成最终描述

场景2：不同首字符对应差异化描述（规则可扩展） #

如果后续规则调整，不同首字符对应的描述不是统一前缀格式，可以用when/otherwise条件分支实现，支持自定义任意映射逻辑，还可以加兜底值处理未匹配的枚举：

import org.apache.spark.sql.functions.{col, lit, substring, when}

val resDF = df.withColumn(
  "code_desc",
  when(substring(col("code"), 1, 1) === "R", lit("it starts with R"))
    .when(substring(col("code"), 1, 1) === "M", lit("it starts with M"))
    .when(substring(col("code"), 1, 1) === "I", lit("it starts with I"))
    .otherwise(lit("invalid code")) // 未匹配到规则时的兜底值
)

注意事项 #

• 优先使用Spark内置函数实现这类列转换逻辑，不要自定义Scala UDF，内置函数会被Catalyst优化器优化执行计划，性能远高于未优化的UDF
• 如果原枚举列存在空值，可以在逻辑前加空值判断，避免空值参与运算导致结果异常
• 执行resDF.show()即可查看转换结果，输出和给出的示例完全一致。

内容的提问来源于stack exchange，提问作者stdinstoud