如何优化for循环实现32万行DataFrame的俱乐部累计胜负统计

你的嵌套循环属于O(n²)复杂度，32万行数据的运算量达到十亿级，自然无法跑出结果，直接用Pandas内置的向量化运算即可实现需求，全程不需要写自定义循环： #

实现步骤 #

1. 预处理数据 #

首先确保时间列格式正确，同时保留原始索引方便最终恢复顺序：

import pandas as pd
# 把startdate转成datetime格式，避免字符串排序出错
data["startdate"] = pd.to_datetime(data["startdate"])
# 存储原始索引，最后要恢复原来的数据顺序
data["orig_idx"] = data.index

2. 排序后分组计算累计值 #

先按俱乐部ID、比赛日期排序，再分组直接用累计求和函数计算结果：

# 按俱乐部+比赛日期升序排序，保证时间顺序正确
data_sorted = data.sort_values(by=["clubid", "startdate"], ignore_index=True)
# 计算累计胜场：同俱乐部下按顺序累加win_bool为1的记录，自动包含同时间的所有比赛
data_sorted["NW_tot"] = data_sorted.groupby("clubid")["win_bool"].cumsum()
# 计算累计负场：同俱乐部下按顺序累加win_bool为0的记录
data_sorted["NL_tot"] = data_sorted.groupby("clubid")["win_bool"].transform(lambda x: (1 - x).cumsum())
# 恢复原始数据的顺序，删掉辅助列
data_final = data_sorted.sort_values(by="orig_idx", ignore_index=True).drop("orig_idx", axis=1)

性能说明 #

该方案复杂度为O(nlogn)，耗时几乎全部来自排序操作，32万行数据在普通家用电脑上运行不会超过10秒，比原有嵌套循环效率高5个数量级以上，完全满足你的需求。

注意事项 #

同startdate的多条记录排序先后不影响最终结果，所有同时间的比赛都会被计入累计值，符合你的统计规则。

内容的提问来源于stack exchange，提问作者Alex