You need to enable JavaScript to run this app. Pandas超千万行DataFrame:无循环实现指定列同值时累加次列
优惠活动
大模型
产品
解决方案
定价
更多

Pandas超千万行DataFrame:无循环实现指定列同值时累加次列

千万行级DataFrame的连续值计数最高效实现方案

该场景完全可以通过列向向量化操作替代原生for循环实现,匹配优先选择列向计算的需求,核心逻辑本质是统计指定列上连续相同取值的游程长度,千万行规模下相比逐行循环可实现2个数量级以上的性能提升。

实现逻辑拆解

原逐行for循环的行为可以拆解为三个可向量化的通用步骤,无任何Python层级的逐行判断:

  • 标记所有连续游程的起点:当当前行j列取值与上一行不一致时,代表新的连续区段开始,j+1列重置为初始值1/0
  • 为每一段连续相同取值分配唯一分组ID,同一段内的所有行归为同一组
  • 在每个分组内部,从第一行开始逐行累计计数,匹配“同值时j+1比上一行大1”的规则

可直接复用的代码实现

import pandas as pd

# 自动定位目标列,避免硬编码列名
col_j = df.columns[j]
col_j1 = df.columns[j+1]

# 标记新游程的起点:当前行j列与上一行取值不一致
run_start = df[col_j] != df[col_j].shift()
# 生成每个游程的分组ID:遇到新起点时ID递增,同一段内ID保持不变
run_group = run_start.cumsum()
# 计算组内累计计数,匹配初始值要求
# 若j+1列初始值为1,按如下写法;若初始值为0,去掉末尾的+1即可
df[col_j1] = df.groupby(run_group).cumcount() + 1

上述代码输出结果与你给出的示例完全一致:

... j j+1 ...
  0 ... 3  1  ...
  1 ... 4  1  ...
  2 ... 4  2  ...
  3 ... 4  3  ...
  4 ... 6  1  ...
  5 ... 6  2  ...
  6 ... 7  1  ...

方案性能说明

  • 千万行规模下,整段代码执行耗时通常在200500ms区间,相比原逐行for循环(同数据量下通常耗时1020分钟)提速200~1000倍
  • 所有操作均基于pandas底层C/NumPy实现,无Python解释器开销,内存额外开销仅为2个等长中间数组,不会占用过多内存
  • 边界处理完全匹配原逻辑:第一行因为没有上一行参照,天然被判定为新游程起点,自动赋值初始值,不需要额外写判断逻辑

常见避坑提示

  • 不要使用iterrows()、apply()这类逐行遍历方法,这类方法本质还是Python层循环,性能比当前方案差数十倍
  • 不要通过逐行判断后手动累加赋值,这种写法会完全丧失向量化的性能优势
  • 若数据规模超过千万行,可开启pandas的PyArrow后端进一步降低内存占用、提升执行速度:pd.options.mode.dtype_backend = "pyarrow"

内容的提问来源于stack exchange,提问作者Yusuf Talha Tamer

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.20 06:36:08