PySpark不使用collect计算DataFrame列均值的替代方法

你当前实现耗时高的核心原因是触发了两次独立的Spark Action：df.count()会触发一次全表扫描计算行数，df.agg({'accuracy': 'sum'}).collect()会触发第二次全表扫描计算列总和，数据集被重复计算两次，数据量越大耗时问题越明显。

直接用Spark内置的avg聚合函数实现单次计算，整个过程只触发1次Action，全表仅扫描一次，且Spark对内置聚合做了分区预聚合优化，性能远高于分开计算sum和count的写法。

最简实现（无额外依赖） #

不需要导入额外函数，直接用agg字典语法即可：

# 单次聚合直接得到accuracy列均值，乘100得到最终结果
acc_top_k = df.agg({'accuracy': 'avg'}).collect()[0][0] * 100

可读性更好的写法 #

导入pyspark.sql内置函数，语义更清晰，后续扩展其他聚合逻辑也更方便：

from pyspark.sql.functions import avg, col

acc_avg = df.select(avg(col("accuracy")).alias("avg_acc")).collect()[0]["avg_acc"]
acc_top_k = acc_avg * 100

如果你的accuracy列存在null值，且原逻辑中df.count()会把null所在行计入分母（即null值行也参与分母计数），可以把sum和count合并到同一次聚合中，仍然只触发一次作业，不会重复扫描表：

from pyspark.sql.functions import sum, count, lit

agg_result = df.agg(
    sum("accuracy").alias("total_sum"),
    count(lit(1)).alias("total_count")
).collect()[0]

acc_top_k = (agg_result["total_sum"] / agg_result["total_count"]) * 100

提示：如果不需要把null行计入分母，直接用前面的avg写法即可，avg默认会自动跳过null值行，计算逻辑为「非null值总和/非null值行数」。

内容的提问来源于stack exchange，提问作者merkle