如何在Scala Spark DataFrame中动态修改指定列？

你完全可以用foldLeft()实现这个需求，核心思路是以原DataFrame为初始值，遍历目标列序列，逐个对列进行修改并累积更新DataFrame。

完整代码示例 #

import org.apache.spark.sql.functions.col

val dat = Seq((1, 2, 3), (3, 4, 5)).toDF("a", "b", "c")
val colsToModify = Seq("a", "b")

// 使用foldLeft批量处理目标列
val modifiedDat = colsToModify.foldLeft(dat) { (currentDf, colName) =>
  currentDf.withColumn(colName, col(colName) * 10)
}

modifiedDat.show()

代码解释 #

1. 初始值：foldLeft的第一个参数是未修改的原DataFrame dat，作为迭代的起始输入。
2. 遍历逻辑：对colsToModify中的每个列名，调用withColumn方法——该方法会直接替换同名的原有列，用col(colName) * 10计算出的新值覆盖原列数据。
3. 累积更新：每次处理完一个列，都会返回更新后的DataFrame，作为下一次迭代的输入，直到所有目标列处理完成。

执行结果 #

运行后会输出你预期的结果：

+---+---+---+
|  a|  b|  c|
+---+---+---+
| 10| 20|  3|
| 30| 40|  5|
+---+---+---+

内容的提问来源于stack exchange，提问作者piptoma