Pandas使用concat合并多个DataFrame因索引重复报错如何解决?
问题原因
使用pd.concat沿axis=1横向合并DataFrame时,pandas会基于行索引自动对齐数据。你当前的报错根源是:
- 主表
df的行索引是无重复的6个唯一值 df1、df2、df3均存在重复行索引(比如df1中id=3出现2次、df2中id=1出现2次),不同表的重复索引对应行数不一致,合并时无法对齐行维度,触发形状不匹配报错。
解决方案
根据你预期的输出结果,可选择以下两种处理方式:
方式1:每个id仅保留一行(适合要聚合行为数据的场景)
先对存在重复索引的3个DataFrame按索引做聚合处理,把同一个id的多条记录聚合为单条(比如将多个日期存为列表、取最早/最晚日期等),处理为索引无重复后再合并:
# 按索引聚合,同一个id的多个日期存入列表 df1_agg = df1.groupby(level=0).agg(list) df2_agg = df2.groupby(level=0).agg(list) df3_agg = df3.groupby(level=0).agg(list) # 聚合后所有表索引均唯一,可正常concat合并 df_final = pd.concat([df, df1_agg, df2_agg, df3_agg], axis=1)
如果需要取每个id的最早/最晚日期,把agg(list)替换为agg(min)或agg(max)即可。
方式2:保留所有行为记录(适合要展开所有行的场景)
如果需要保留每个id对应的全部行为记录,不要使用concat做横向合并,改用支持多对多关联的merge方法:
# 主表重置索引方便关联匹配 df_reset = df.reset_index() # 依次左连接三个行为表,自动匹配id对应的所有记录 df_final = df_reset.merge(df1.reset_index(), left_on='id', right_on='userid', how='left')\ .merge(df2.reset_index(), left_on='id', right_on='userid', how='left')\ .merge(df3.reset_index(), left_on='id', right_on='userid', how='left') # 按需删除重复的userid列 df_final = df_final.drop(columns=['userid_x', 'userid_y', 'userid'])
内容的提问来源于stack exchange,提问作者Mahipal Singh
相关产品推荐
相关产品推荐

