Python Pandas左连接后total列求和异常问题排查与解决

问题原因 #

df_agg的id列存在重复值，而df_total的id是唯一的。做左连接时，左表中每一个重复的id都会和右表对应id的行匹配一次——相当于右表中同一个id的total值会被重复复制N次（N等于左表该id的重复次数）。最终求和时，这些被重复复制的total值会被多次累加，自然就比df_agg原本的total求和结果大很多。

举个简单例子：
df_agg里id=1出现3次，对应的total分别是10、20、30；df_total里id=1的total是100。连接后df_new里id=1的三行都会带上100，求和时100被加了3次，而df_agg原本的total求和才60，结果直接虚高。

解决参数/方法建议 #

根据你的实际需求，有几种处理方式：

1. 只需要匹配右表字段，且不需要重复计算右表total #

如果不需要保留df_agg的重复行，先对df_agg去重再merge，或者用map直接映射更高效：

# 方式1：按id去重（keep='first'保留第一行，可根据需求换成'last'）
df_agg_dedup = df_agg.drop_duplicates(subset='id', keep='first')
df_new = pd.merge(df_agg_dedup, df_total, on='id', how='left')

# 方式2：用map直接映射，避免重复匹配
df_agg['total_from_total'] = df_agg['id'].map(df_total.set_index('id')['total'])

2. 必须保留df_agg所有行，但右表total只需要对应一次 #

merge后对右表的total列按id去重，比如只保留每个id的第一个total值：

df_new = pd.merge(df_agg, df_total, on='id', how='left')
# 每个id只保留第一行的total值，其余设为NaN（按需调整）
df_new['total'] = df_new.groupby('id')['total'].transform(lambda x: x.iloc[0])

3. 需要对左表id的total聚合后再匹配 #

如果右表的total是id的统计值，先把df_agg按id聚合求和，再做连接：

df_agg_grouped = df_agg.groupby('id')['total'].sum().reset_index()
df_new = pd.merge(df_agg_grouped, df_total, on='id', how='left')

内容的提问来源于stack exchange，提问作者silent_hunter