Pandas groupby后统计组内大于/小于当前值的元素计数方法

需求说明 #

• 核心目标：对DataFrame执行groupby分组后，针对数值列的每个元素，统计其所在分组内大于/小于该元素的实例总数，返回与原DataFrame索引对齐的结果Series
• 示例预期：
  • 初始测试数据包含group、values两列：a组values取值为1、2、3，b组values取值为4、5、6
  • 输出新增Count within group列记录组内小于当前值的元素数量：a组1对应0、2对应1、3对应2，b组4对应0、5对应1、6对应2
• 常见踩坑：
  • 全量未分组的Series统计小于每个元素的数量，可通过series.apply(lambda x: sum(series.lt(x)))实现，但该逻辑无法直接套用到groupby对象上
  • 直接写df.groupby('group').transform(lambda x: sum(x.lt(x)))无法得到正确结果，核心问题是lambda函数内无法同时正确引用分组后的整组Series和组内单个元素完成逐元素比较

最优实现（推荐） #

直接使用Pandas内置的分组rank方法实现，无自定义循环，性能最优，代码最简洁：

统计组内小于当前值的元素数量，本质就是计算当前值在组内的升序排名（从0开始计数）

import pandas as pd

# 构造示例测试数据
df = pd.DataFrame({
    'group': ['a','a','a','b','b','b'],
    'values': [1,2,3,4,5,6]
})

# 核心计算逻辑：method='min'表示同值取最小排名，减1后即为小于当前值的元素总数
df['Count within group'] = df.groupby('group')['values'].rank(method='min').astype(int) - 1

运行后输出结果完全匹配预期：

扩展场景适配 #

• 统计组内大于当前值的元素数量：改用降序排名即可

  df['count_greater'] = df.groupby('group')['values'].rank(method='min', ascending=False).astype(int) - 1
  

• 统计组内小于等于当前值的元素数量：去掉代码末尾的-1即可
• 组内存在重复值时，method='min'会自动给相同值分配一致的计数结果，符合常规统计逻辑

原写法错误原因说明 #

之前尝试的lambda x: sum(x.lt(x))逻辑存在本质错误：传入transform的lambda中，参数x代表当前分组的整个Series，x.lt(x)等价于逐元素比较元素和自身，结果全为False，求和永远返回0。
如果一定要用transform+自定义逻辑实现（性能远低于rank方案，仅作原理参考），正确写法需要在分组Series内部再做逐元素apply：

# 非必要不推荐：大数据量下性能远差于内置rank实现
df['Count within group'] = df.groupby('group')['values'].transform(
    lambda group_series: group_series.apply(lambda val: sum(group_series.lt(val)))
)

内容的提问来源于stack exchange，提问作者Max Miller