如何将PySpark计算所有列均值的代码转换为Java Spark实现？

你提到的PySpark代码通过列表推导式遍历所有列，为每列生成均值聚合表达式并保留原列名，最终查询得到所有列的均值结果。在Java Spark中可以通过以下方式实现相同逻辑：

首先确保导入必要的类：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.Column;
import java.util.Arrays;
import static org.apache.spark.sql.functions.mean;

方式一：使用Java Stream（简洁写法） #

// 获取DataFrame所有列名
String[] columns = notesCollege.columns();

// 将每个列名转换为mean聚合并保留原列名的Column对象
Column[] meanAggColumns = Arrays.stream(columns)
    .map(columnName -> mean(columnName).alias(columnName))
    .toArray(Column[]::new);

// 执行查询得到结果
Dataset<Row> res = notesCollege.select(meanAggColumns);

方式二：传统循环写法 #

如果不习惯Stream API，也可以用普通循环生成聚合列数组：

String[] columns = notesCollege.columns();
Column[] meanAggColumns = new Column[columns.length];

for (int i = 0; i < columns.length; i++) {
    String colName = columns[i];
    meanAggColumns[i] = mean(colName).alias(colName);
}

Dataset<Row> res = notesCollege.select(meanAggColumns);

关键说明 #

Java中没有Python的列表推导式和解包（*）语法，所以需要先把所有列对应的聚合表达式封装成Column数组，再传递给select方法——Spark Java的select支持接收Column...可变参数，这样就能实现和PySpark代码完全一致的逻辑：计算每列的均值，并用原列名作为结果列的别名。

内容的提问来源于stack exchange，提问作者Marc Le Bihan