如何在Pandas Groupby对象中实现自定义计算并添加分组汇总行

步骤1：准备示例数据（可替换为你的真实数据） #

先构造一个和你场景匹配的示例DataFrame，方便理解：

import pandas as pd

data = {
    'ID': ['A', 'A', 'B', 'B', 'B'],
    'CLASS': ['X', 'Y', 'X', 'Y', 'Z'],
    'AREA': [10, 20, 15, 25, 30],
    'VAR': [5, 10, 7, 14, 21]
}
df = pd.DataFrame(data)

步骤2：自定义分组汇总逻辑 #

你可以根据需求编写汇总函数，比如计算AREA总和，以及VAR列的自定义值（示例为VAR均值的2倍，你可以替换成自己的逻辑）：

def add_group_summary(group):
    # 计算AREA总和
    total_area = group['AREA'].sum()
    # 自定义VAR汇总计算（这里仅为示例，替换成你的实际逻辑）
    custom_var = group['VAR'].mean() * 2
    
    # 创建汇总行
    summary_row = pd.DataFrame({
        'ID': [group['ID'].iloc[0]],
        'CLASS': ['Total'],
        'AREA': [total_area],
        'VAR': [custom_var]
        # 其他列按需补充，比如不需要计算的列可以填'--'或默认值
    })
    
    # 合并原分组数据与汇总行
    return pd.concat([group, summary_row], ignore_index=True)

步骤3：应用分组并生成结果 #

调用groupby和apply函数，得到带汇总行的最终DataFrame：

result_df = df.groupby('ID', group_keys=False).apply(add_group_summary)

运行后结果如下：

ID CLASS  AREA   VAR
0   A     X    10   5.0
1   A     Y    20  10.0
2   A  Total    30  15.0
3   B     X    15   7.0
4   B     Y    25  14.0
5   B     Z    30  21.0
6   B  Total    70  28.0

大数据量优化方案 #

如果你的DataFrame非常大，apply方法效率可能偏低，可以改用先计算汇总数据再合并的方式：

# 1. 计算所有ID的汇总数据
summary_df = df.groupby('ID').agg(
    AREA=('AREA', 'sum'),
    VAR=('VAR', lambda x: x.mean() * 2)  # 替换为你的自定义逻辑
).reset_index()
summary_df['CLASS'] = 'Total'

# 2. 合并原数据与汇总数据
combined_df = pd.concat([df, summary_df], ignore_index=True)

# 3. 排序确保每个ID的汇总行在最后
combined_df['sort_flag'] = combined_df['CLASS'] != 'Total'
result_df = combined_df.sort_values(['ID', 'sort_flag'], ascending=[True, True]).drop('sort_flag', axis=1)

关键说明 #

• 自定义计算部分：你可以修改agg或add_group_summary里的VAR计算逻辑，比如求和、加权平均、最大值等，只要基于分组后的子DataFrame操作即可。
• 其他列处理：如果有不需要计算的列，汇总行可以填充'--'、NaN或其他标识，只需在创建summary_row时补充对应列的内容。

内容的提问来源于stack exchange，提问作者Michael Ray