Scala中DataFrame行聚合：如何新增列计算每行多列的最小/最大值（非UDF方式）

嘿，很高兴能帮你解决这个问题！确实用UDF能实现，但Spark其实提供了更简洁高效的内置函数来处理这种多列取最值的场景，完全不用写自定义函数~

核心方案：使用Spark内置的least和greatest函数 #

Spark SQL的内置函数least和greatest专门用来计算多个列的最小值和最大值，直接就能满足你的需求，而且性能比UDF更优（因为内置函数是Spark原生优化过的）。

步骤1：导入必要的函数 #

首先需要导入这两个函数以及列操作的工具：

import org.apache.spark.sql.functions.{least, greatest, col}

步骤2：新增最小值列 #

假设你的DataFrame名为df，我们可以通过一行代码生成col1到col10的最小值列：

// 生成col1到col10的列对象，传给least函数
val dfWithMin = df.withColumn("col_min", least((1 to 10).map(i => col(s"col$i")): _*))

这里(1 to 10).map(i => col(s"col$i"))会自动生成col1到col10的列引用，: _*是Scala语法，把序列转换为可变参数传递给least函数，避免手动写10个列名。

步骤3：新增最大值列 #

同理，用greatest函数生成最大值列：

val dfWithMinMax = dfWithMin.withColumn("col_max", greatest((1 to 10).map(i => col(s"col$i")): _*))

补充：处理空值的情况 #

如果你的列中存在空值，least和greatest默认会返回null（只要有一个参数为null）。如果想忽略空值，可以结合coalesce函数给空值设置一个默认值（比如用极小值/极大值，或者根据业务需求调整）：

import org.apache.spark.sql.functions.{coalesce, lit}

// 处理最小值时，把空值替换成极大值，这样不会影响最小值得计算
val dfWithMinIgnoreNull = df.withColumn(
  "col_min", 
  least((1 to 10).map(i => coalesce(col(s"col$i"), lit(Double.MaxValue))): _*)
)

// 处理最大值时，把空值替换成极小值
val dfWithMaxIgnoreNull = df.withColumn(
  "col_max", 
  greatest((1 to 10).map(i => coalesce(col(s"col$i"), lit(Double.MinValue))): _*)
)

这样是不是比写UDF简单多啦？这个方案代码更简洁，性能也更好，完全能满足你的需求~

内容的提问来源于stack exchange，提问作者Inna