基于含重复值TaskID合并Pandas DataFrame结果行数异常求助

问题原因 #

当你用pd.merge()基于存在重复值的TaskID列做内连接时，Pandas会对每个TaskID在两个表中的所有行执行笛卡尔积匹配：如果df1中某个TaskID出现m次，df2中同一个TaskID出现n次，合并后该TaskID会生成m×n行数据。最终总长度就是所有重复TaskID的笛卡尔积行数之和，这就是结果远大于原表长度的原因。

解决方案 #

根据你的业务需求，可选择以下几种方式处理：

1. 按同TaskID下的条目顺序匹配

如果同一TaskID下的条目是按顺序一一对应的（比如df1的第1条对应df2的第1条），可以给两个表添加组内序号辅助列，再基于TaskID+序号合并：

# 为df1添加每个TaskID内的序号
df1['seq'] = df1.groupby('TaskID').cumcount()
# 为df2添加每个TaskID内的序号
df2['seq'] = df2.groupby('TaskID').cumcount()
# 基于TaskID和序号列合并
merged = pd.merge(df1, df2, on=['TaskID', 'seq'], how='inner')
# 可选：删除辅助列
merged.drop('seq', axis=1, inplace=True)

2. 先聚合再合并

如果不需要保留同一TaskID下的所有明细，可先对每个TaskID的数据做聚合处理（比如取首条、末条、求和、均值等），再合并：

# 对df1按TaskID聚合，示例取每个TaskID的第一条数据
df1_agg = df1.groupby('TaskID').first().reset_index()
# 对df2执行同样的聚合操作
df2_agg = df2.groupby('TaskID').first().reset_index()
# 合并聚合后的表
merged = pd.merge(df1_agg, df2_agg, on='TaskID', how='inner')

聚合方法可根据需求替换，比如last()、sum()、mean()等。

3. 增加匹配维度

检查两个表是否存在其他可用于精准匹配的共同列（比如条目编号、时间戳等），将这些列与TaskID一起作为合并键，避免笛卡尔积：

# 假设存在共同列ItemNo，基于TaskID和ItemNo合并
merged = pd.merge(df1, df2, on=['TaskID', 'ItemNo'], how='inner')

内容的提问来源于stack exchange，提问作者NA16