PySpark多聚合GroupBy实现：Pandas代码迁移问题求助

刚从Pandas转PySpark确实会遇到这类语法差异的小坑，我当初也踩过！你的需求是对单个列同时计算均值和方差，PySpark的agg用法和Pandas不一样，咱们一步步拆解怎么适配：

直接适配你的Pandas代码的PySpark写法 #

先上能直接跑的代码，对应你Pandas里的groupby('CUSTOMER_NUMBER')['trx'].agg(['mean', 'var'])：

# 简洁写法：同一列的多个聚合函数放在一个字典里
df_trx_m = train1.groupBy('CUSTOMER_NUMBER').agg(
    {'trx': ['mean', 'var']}
)

为什么这么写？ #

你看到的示例是单字段单聚合，而你的需求是单字段多聚合：

• Pandas里直接传['mean', 'var']，是告诉它对选中的列批量应用这些函数
• PySpark需要更明确的映射关系：用字典指定「哪列要应用哪些聚合函数」，格式就是{'列名': [聚合函数1, 聚合函数2]}

进阶：自定义列名（更贴近Pandas的输出） #

默认情况下，PySpark会生成avg(trx)、var_samp(trx)这类列名，如果想和Pandas一样用mean、var作为列名，用alias重命名更灵活：

from pyspark.sql import functions as F

df_trx_m = train1.groupBy('CUSTOMER_NUMBER').agg(
    F.mean('trx').alias('mean'),
    F.var_samp('trx').alias('var')  # 注意：PySpark的var默认是样本方差，和Pandas的var默认逻辑一致
)

要是需要计算总体方差，把var_samp换成var_pop就行。

查看最终结果 #

最后用show()验证输出：

df_trx_m.show()

输出会类似：

+----------------+------------------+------------------+
|CUSTOMER_NUMBER|              mean|               var|
+----------------+------------------+------------------+
|         1000001|             50.25|123.58333333333333|
|         1000002|              36.0|              81.0|
+----------------+------------------+------------------+

内容的提问来源于stack exchange，提问作者madsthaks