You need to enable JavaScript to run this app. Pandas多列执行value_counts获取归一化分布的高效实现方法
优惠活动
大模型
产品
解决方案
定价
更多

Pandas多列执行value_counts获取归一化分布的高效实现方法

问题描述

我有如下结构的DataFrame:

pack  pear  carrot  grape  berry  apple  sum 3rd pack  box
0      1   1.0     3.0    1.0    2.0    1.0    8      NaN  1.0
1      2   1.0     1.0    3.0    0.0    3.0    8      NaN  1.0
2      3   1.0     1.0    3.0    1.0    3.0    9     True  1.0
3      4   1.0     1.0    2.0    3.0    1.0    8      NaN  2.0
4      5   2.0     3.0    4.0    0.0    0.0    9      NaN  2.0

其中pear、carrot、grape、berry、apple共5个水果列的取值范围均在0到6之间,我希望生成一个统计各列不同取值分布的DataFrame,预期输出格式如下:

pear    carrot     grape     berry     apple
0.0  0.163636  0.145455  0.090909  0.218182  0.236364
1.0  0.472727  0.200000  0.218182  0.418182  0.454545
2.0  0.218182  0.309091  0.290909  0.254545  0.145455
3.0  0.090909  0.272727  0.236364  0.109091  0.127273
4.0  0.036364  0.072727  0.090909       NaN  0.036364
5.0  0.018182       NaN  0.036364       NaN       NaN
6.0       NaN       NaN  0.036364       NaN       NaN 

我目前的实现方法是为每个水果列单独生成value_counts归一化统计Series,再拼接得到结果,代码如下:

pears_per_pack = df['pear'].value_counts(normalize=True)
carrots_per_pack = df['carrot'].value_counts(normalize=True)
grapes_per_pack = df['grape'].value_counts(normalize=True)
berrys_per_pack = df['berry'].value_counts(normalize=True)
apples_per_pack = df['apple'].value_counts(normalize=True)

df_lst = [pears_per_pack,carrots_per_pack,grapes_per_pack,berrys_per_pack,apples_per_pack]
fruit_df = pd.concat(df_lst, axis = 1)

当前仅需处理5列,手动编写难度低,但该写法违反DRY原则,若需要处理的列数量较大时适用性很差。请问是否有更规范、可扩展的实现方式,可以适配多列统计的场景?

解决方案

可以用pandas的列批量操作实现,仅需维护一个待统计的列名列表即可,后续新增统计列直接修改列表就行,完全适配多列场景:

# 1. 定义待统计的水果列,可任意扩展修改
fruit_cols = ['pear', 'carrot', 'grape', 'berry', 'apple']
# 2. 对所有目标列批量执行归一化的取值统计,同时补全0~6的所有索引行
fruit_df = df[fruit_cols].apply(pd.Series.value_counts, normalize=True).reindex(range(7))

代码说明

  • apply(pd.Series.value_counts, normalize=True):对选中的每一列自动执行归一化的频次统计,无需逐列编写代码
  • reindex(range(7)):强制索引为0到6的所有值,哪怕某列没有对应取值也会补NaN,完全匹配预期输出格式,如果不需要固定索引可以去掉这部分

内容的提问来源于stack exchange,提问作者jon

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 22:54:07