循环中使用Pandas groupby聚合函数出现计算错误求助

常见问题原因 #

• 原始数据被循环意外修改：循环中使用inplace=True操作，或直接赋值修改了原始DataFrame，导致后续分组计算基于被污染的数据，和循环外的干净数据结果不一致。
• 自定义聚合函数状态残留：自定义聚合函数依赖全局可变对象（如列表、字典），且未在每次循环/调用时重置，导致累计了之前的计算结果。
• 循环变量与列名冲突：循环变量名（如col）和DataFrame的列名重复，分组时误引用了循环变量而非目标列。
• 索引干扰分组逻辑：循环中处理后的DataFrame索引被修改，groupby默认包含索引参与分组，导致分组规则和循环外不同。
• 旧版本Pandas的bug：部分旧版Pandas在循环中处理groupby时存在分组键类型识别错误、聚合逻辑异常等已知问题。

对应解决方法 #

1. 隔离原始数据：循环内操作前对DataFrame做深拷贝，用拷贝后的数据执行groupby：

   df_copy = df.copy(deep=True)
   # 基于df_copy进行分组聚合操作
   

   同时避免使用inplace=True，改用赋值方式（如df_copy = df_copy.drop(columns=['col'])而非df_copy.drop(columns=['col'], inplace=True)）。

2. 重置聚合函数状态：自定义聚合函数内的可变对象要在函数内部初始化，避免依赖全局变量：

   # 正确写法（内部初始化临时变量）
   def custom_agg(x):
       temp = []
       temp.append(x.mean())
       return temp[-1]
   

   若必须用全局变量，需在每次循环开始前重置状态。

3. 避免变量名冲突：修改循环变量名，比如用loop_col代替col，确保分组时明确引用DataFrame的列（如df.groupby(df['group_col'])）。

4. 明确分组规则：groupby时指定as_index=False，或提前重置索引，避免索引干扰：

   # 排除索引影响，仅按指定列分组
   result = df.groupby('group_col', as_index=False)['value'].sum()
   # 或先重置索引
   df_reset = df.reset_index(drop=True)
   result = df_reset.groupby('group_col')['value'].sum()
   

5. 升级Pandas版本：将Pandas升级到最新稳定版（如2.x系列），修复旧版本的已知bug。

示例对比 #

错误循环（修改原始数据） #

import pandas as pd

df = pd.DataFrame({'group': ['A','A','B','B'], 'value': [1,2,3,4]})

# 循环中修改原始数据，导致结果异常
for i in range(2):
    df['value'] += 1
    res = df.groupby('group')['value'].sum()
    print(f"循环第{i+1}次结果:\n{res}")

# 循环外干净数据的正确结果
df_clean = pd.DataFrame({'group': ['A','A','B','B'], 'value': [1,2,3,4]})
res_clean = df_clean.groupby('group')['value'].sum()
print("循环外结果:\n", res_clean)

正确循环（使用数据拷贝） #

for i in range(2):
    df_copy = df.copy(deep=True)
    df_copy['value'] += 1
    res = df_copy.groupby('group')['value'].sum()
    print(f"循环第{i+1}次结果:\n{res}")

内容的提问来源于stack exchange，提问作者graj499