Pandas groupby多列聚合中批量应用相同统计函数的优雅实现方法
Pandas 多列批量复用聚合规则的实现方法
完全不需要逐列手动编写重复的聚合配置,只需要把固定复用的逻辑抽成可配置的参数,不管需要统计的列有多少,都不用重复写代码。
全版本通用的基础写法
这套写法适配所有Pandas版本,核心是把原来嵌套在聚合字典里的重复逻辑拆成两个独立的可配置项,去掉无意义的重复书写:
- 提前定义需要复用的聚合规则列表,比如统一用
count、mean、np.median三个统计方法 - 提前圈定所有要应用这套规则的目标列,既可以手动列成列表,也可以通过数据类型自动筛选
- 分组完成后先选中所有目标列,直接把聚合规则列表传入
agg方法,完全不需要逐列写列名: 规则列表的嵌套字典配置
可直接运行的完整示例:
import pandas as pd import numpy as np # 构造测试数据集 tt = pd.DataFrame(data={ 'Status': ['green','green','red','blue','red','yellow','black'], 'Group': ['A','A','B','C','A','B','C'], 'City': ['Toronto','Montreal','Vancouver','Toronto','Edmonton','Winnipeg','Windsor'], 'Sales': [13,6,16,8,4,3,1], 'Counts': [100,200,50,30,20,10,300] }) # 仅需维护两个配置项,列数再多也不用改下面的聚合逻辑 agg_funcs = ['count', 'mean', np.median] target_cols = ['Sales', 'Counts'] # 一步完成聚合,无需逐列编写字典映射 ss = tt.groupby('Group')[target_cols].agg(agg_funcs) # 原有的列名展平逻辑是通用的,适配任意数量的列 ss.columns = ['_'.join(col).strip() for col in ss.columns.values]
如果待统计的列数量很多,完全不用手动逐行敲列名,可以直接按数据类型自动筛选目标列,比如把所有数值型列自动纳入统计:
# 自动筛选所有数值型列,跳过分组列和文本类列 target_cols = tt.select_dtypes(include=np.number).columns.drop('Group').tolist()
如果需要排除特定不需要统计的列,只要简单加个判断即可:
target_cols = [col for col in tt.columns if col not in ['Status', 'Group', 'City']]
高版本Pandas优化写法(省掉列名拼接步骤)
当使用的Pandas版本≥1.3.0时,可以利用NamedAgg的特性,在聚合阶段直接生成扁平化的列名,完全省掉事后拼接多级列索引的步骤:
agg_funcs = ['count', 'mean', 'median'] target_cols = tt.select_dtypes(include=np.number).columns.tolist() # 批量构造聚合参数,自动生成和原逻辑一致的扁平化列名 agg_config = {} for col in target_cols: for func in agg_funcs: agg_config[f"{col}_{func}"] = (col, func) # 直接得到列名无多层索引的聚合结果 ss = tt.groupby('Group').agg(**agg_config)
这种写法列名格式完全可控,不管有多少列参与统计,只要调整一次字符串拼接规则,就能统一生成想要的列名格式。
内容的提问来源于stack exchange,提问作者newleaf
相关产品推荐
相关产品推荐

