Pandas多列执行value_counts获取归一化分布的高效实现方法
问题描述
我有如下结构的DataFrame:
pack pear carrot grape berry apple sum 3rd pack box 0 1 1.0 3.0 1.0 2.0 1.0 8 NaN 1.0 1 2 1.0 1.0 3.0 0.0 3.0 8 NaN 1.0 2 3 1.0 1.0 3.0 1.0 3.0 9 True 1.0 3 4 1.0 1.0 2.0 3.0 1.0 8 NaN 2.0 4 5 2.0 3.0 4.0 0.0 0.0 9 NaN 2.0
其中pear、carrot、grape、berry、apple共5个水果列的取值范围均在0到6之间,我希望生成一个统计各列不同取值分布的DataFrame,预期输出格式如下:
pear carrot grape berry apple 0.0 0.163636 0.145455 0.090909 0.218182 0.236364 1.0 0.472727 0.200000 0.218182 0.418182 0.454545 2.0 0.218182 0.309091 0.290909 0.254545 0.145455 3.0 0.090909 0.272727 0.236364 0.109091 0.127273 4.0 0.036364 0.072727 0.090909 NaN 0.036364 5.0 0.018182 NaN 0.036364 NaN NaN 6.0 NaN NaN 0.036364 NaN NaN
我目前的实现方法是为每个水果列单独生成value_counts归一化统计Series,再拼接得到结果,代码如下:
pears_per_pack = df['pear'].value_counts(normalize=True) carrots_per_pack = df['carrot'].value_counts(normalize=True) grapes_per_pack = df['grape'].value_counts(normalize=True) berrys_per_pack = df['berry'].value_counts(normalize=True) apples_per_pack = df['apple'].value_counts(normalize=True) df_lst = [pears_per_pack,carrots_per_pack,grapes_per_pack,berrys_per_pack,apples_per_pack] fruit_df = pd.concat(df_lst, axis = 1)
当前仅需处理5列,手动编写难度低,但该写法违反DRY原则,若需要处理的列数量较大时适用性很差。请问是否有更规范、可扩展的实现方式,可以适配多列统计的场景?
解决方案
可以用pandas的列批量操作实现,仅需维护一个待统计的列名列表即可,后续新增统计列直接修改列表就行,完全适配多列场景:
# 1. 定义待统计的水果列,可任意扩展修改 fruit_cols = ['pear', 'carrot', 'grape', 'berry', 'apple'] # 2. 对所有目标列批量执行归一化的取值统计,同时补全0~6的所有索引行 fruit_df = df[fruit_cols].apply(pd.Series.value_counts, normalize=True).reindex(range(7))
代码说明
apply(pd.Series.value_counts, normalize=True):对选中的每一列自动执行归一化的频次统计,无需逐列编写代码reindex(range(7)):强制索引为0到6的所有值,哪怕某列没有对应取值也会补NaN,完全匹配预期输出格式,如果不需要固定索引可以去掉这部分
内容的提问来源于stack exchange,提问作者jon
相关产品推荐
相关产品推荐

