You need to enable JavaScript to run this app. Pandas使用concat合并多个DataFrame因索引重复报错如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

Pandas使用concat合并多个DataFrame因索引重复报错如何解决?

问题原因

使用pd.concat沿axis=1横向合并DataFrame时,pandas会基于行索引自动对齐数据。你当前的报错根源是:

  • 主表df的行索引是无重复的6个唯一值
  • df1、df2、df3均存在重复行索引(比如df1中id=3出现2次、df2中id=1出现2次),不同表的重复索引对应行数不一致,合并时无法对齐行维度,触发形状不匹配报错。
解决方案

根据你预期的输出结果,可选择以下两种处理方式:

方式1:每个id仅保留一行(适合要聚合行为数据的场景)

先对存在重复索引的3个DataFrame按索引做聚合处理,把同一个id的多条记录聚合为单条(比如将多个日期存为列表、取最早/最晚日期等),处理为索引无重复后再合并:

# 按索引聚合,同一个id的多个日期存入列表
df1_agg = df1.groupby(level=0).agg(list)
df2_agg = df2.groupby(level=0).agg(list)
df3_agg = df3.groupby(level=0).agg(list)
# 聚合后所有表索引均唯一,可正常concat合并
df_final = pd.concat([df, df1_agg, df2_agg, df3_agg], axis=1)

如果需要取每个id的最早/最晚日期,把agg(list)替换为agg(min)或agg(max)即可。

方式2:保留所有行为记录(适合要展开所有行的场景)

如果需要保留每个id对应的全部行为记录,不要使用concat做横向合并,改用支持多对多关联的merge方法:

# 主表重置索引方便关联匹配
df_reset = df.reset_index()
# 依次左连接三个行为表,自动匹配id对应的所有记录
df_final = df_reset.merge(df1.reset_index(), left_on='id', right_on='userid', how='left')\
                   .merge(df2.reset_index(), left_on='id', right_on='userid', how='left')\
                   .merge(df3.reset_index(), left_on='id', right_on='userid', how='left')
# 按需删除重复的userid列
df_final = df_final.drop(columns=['userid_x', 'userid_y', 'userid'])

内容的提问来源于stack exchange,提问作者Mahipal Singh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 11:18:03