如何对千万级面板数据集按组按3期时间窗口计算各列滚动求和

Got it, let's refine the rolling sum solution for your 10M-row panel dataset—since you mentioned David's answer already covers most of the basics, I'll focus on the edge cases, efficiency tweaks, and batch processing that fit your specific setup perfectly.

1. 先筑牢基础：确保数据排序与分组正确性 #

滚动计算的核心前提是数据按组、日期严格排序，否则窗口会乱套，先搞定这一步：

import pandas as pd

# 假设你的数据集是df，分组列是`group_id`，日期列是`date`
df = df.sort_values(['group_id', 'date'], ignore_index=True)

2. 批量处理50个得分列的滚动和 #

不用逐个列写重复代码，我们可以批量生成所有滚动和列，同时满足「组内前1、2个日期允许不足3个值求和」的要求：

# 先筛选出所有得分列（假设你的得分列以`score_`开头，比如score_1到score_50）
score_cols = [col for col in df.columns if col.startswith('score_')]

# 批量生成滚动和列：用groupby+rolling，min_periods=1允许不足3个值时正常计算
df[[f"{col}_rolling_3sum" for col in score_cols]] = df.groupby('group_id')[score_cols].transform(
    lambda x: x.rolling(window=3, min_periods=1).sum()
)

这个写法比循环更高效，一次性处理所有得分列，组内第1行的滚动和就是自身值，第2行是前1行+当前行，第3行及以后是前三行求和，完全符合你的要求。

3. 针对10M行大数据的效率优化 #

如果pandas原生的groupby+rolling速度跟不上你的数据集规模，推荐两个更高效的方案：

方案A：用data.table（Python版）提速

data.table的滚动求和函数专门针对大数据优化，速度比pandas快很多：

from datatable import dt, f, by, update

# 转换为data.table格式
dt_df = dt.Frame(df)

# 批量计算每个得分列的滚动和
for col in score_cols:
    dt_df[:, update(**{f"{col}_rolling_3sum": dt.frollsum(f[col], window=3, min_periods=1)}), by('group_id')]

# 转回pandas DataFrame（如果需要）
df = dt_df.to_pandas()

方案B：SQL窗口函数（如果数据存在数据库中）

如果你的数据存在SQL数据库里，直接用窗口函数更高效，不用把数据拉到本地：

SELECT 
    group_id,
    date,
    -- 对每个得分列计算三期滚动和
    score_1,
    SUM(score_1) OVER (PARTITION BY group_id ORDER BY date ROWS BETWEEN 2 PRECEDING AND CURRENT ROW) AS score_1_rolling_3sum,
    score_2,
    SUM(score_2) OVER (PARTITION BY group_id ORDER BY date ROWS BETWEEN 2 PRECEDING AND CURRENT ROW) AS score_2_rolling_3sum,
    -- ... 其他得分列以此类推
FROM your_table
ORDER BY group_id, date;

SQL的窗口函数天然支持前2行+当前行的求和，自动处理前两个日期的不足情况，性能拉满。

4. 快速验证结果是否符合预期 #

抽一个组的前几行看看，确保逻辑正确：

# 随机选一个分组查看
sample_group = df['group_id'].sample(1).iloc[0]
print(df[df['group_id'] == sample_group][['date', 'score_1', 'score_1_rolling_3sum']].head(5))

你会看到：

• 第1行的滚动和 = score_1本身
• 第2行的滚动和 = 第1行score_1 + 第2行score_1
• 第3行及以后的滚动和 = 前三行score_1的总和

内容的提问来源于stack exchange，提问作者em1031