Spark DataFrame多列数值映射问题：UDF匹配失败返回-1

你遇到的问题根源很明确：调用UDF时传错了参数。你的calculateScore UDF需要两个参数：第一个是列名字符串，第二个是该列的实际值，但你现在两次都传了baseDF(c)（也就是列的数值/字符串值），导致UDF里的columnName参数拿到的是列的实际内容（比如"Female"或者"In a town"），而不是你期望的列名（比如"002_Gender"），自然匹配不到你定义的case分支，所有结果都返回了默认值-1。

第一步：修正UDF调用参数 #

只需要把UDF的第一个参数改成列名的常量字符串，用Spark的lit()函数包装即可，这样UDF就能正确拿到列名来匹配规则了。修正后的foldLeft代码如下：

import org.apache.spark.sql.functions.lit

val newDF: DataFrame = columnNames.foldLeft(baseDF)(
  (df, c) => df.withColumn(s"${c}_numeric", calculateScore(lit(c), df(c)))
)

这样修改后，UDF的columnName参数会正确收到"002_Gender"这类列名，和answerText配对后就能匹配到对应的case分支，返回正确的数值。

第二步：优化映射规则的可维护性 #

如果列数量很多，硬编码一堆case分支会非常难维护。推荐把映射规则抽成一个配置Map，这样后续新增或修改规则只需要修改Map，不用改动UDF逻辑，更符合Scala的函数式风格和开闭原则：

// 定义各列的映射规则：key是列名，value是该列的字符串->数值映射表
val mappingRules: Map[String, Map[String, Int]] = Map(
  "002_Gender" -> Map(
    "Female" -> 0,
    "Male" -> 1,
    "Other" -> 2
  ),
  "003_Where did you grow up" -> Map(
    "In a village" -> 0,
    "In a town" -> 1,
    "Multiple places" -> 2
  )
)

// 基于映射规则实现UDF，更简洁灵活
val calculateScore = udf((columnName: String, answerText: String) => {
  mappingRules.get(columnName)
    .flatMap(_.get(answerText))
    .getOrElse(-1) // 没有匹配到规则时返回-1
})

// 同样用foldLeft批量处理列，保持不可变风格
val columnNames = Seq("002_Gender", "003_Where did you grow up")
val newDF: DataFrame = columnNames.foldLeft(baseDF)(
  (df, c) => df.withColumn(s"${c}_numeric", calculateScore(lit(c), df(c)))
)

另外注意：001_Age列本身已经是数值类型，不需要映射，所以可以从columnNames里去掉，避免生成多余的列。

为什么这个方案符合不可变原则？ #

你用foldLeft的思路非常正确：每次迭代都返回一个新的DataFrame，没有使用var来重新赋值，完全遵循了Scala的不可变编程范式，既保证了线程安全，也让代码逻辑更清晰。

内容的提问来源于stack exchange，提问作者LucieCBurgess