Pandas合并DataFrame内存溢出 如何仅合并首个匹配项忽略重复

Pandas 执行merge时，只要连接键存在重复值，默认会对两侧重复键做全量笛卡尔积匹配：若右表df_2同一连接键对应N条记录，左表df_1同一连接键对应M条记录，最终匹配行数为M*N，数据量随重复键数量成倍暴涨，直接触发内存不足报错。

要实现「仅保留右表首次匹配值、忽略后续重复匹配项」的效果，禁止先合并再去重——合并过程已经会生成膨胀的临时结果，依然会触发内存错误。正确做法是合并前先对右表按连接键去重，仅保留每个键对应的第一条记录，从根源上避免多对多匹配：

# 右表按连接键去重，仅保留每个id_y对应的第一条记录，提前剔除冗余匹配项
df_2_dedup = df_2.drop_duplicates(subset=['id_y'], keep='first')

# 执行内连接，无冗余匹配，不会出现行数暴涨
df_merged = pd.merge(
    df_1,
    df_2_dedup,
    how='inner',
    left_on=['id_x'],
    right_on=['id_y'],
    suffixes=['', '_right']
)

处理后示例中id_y=3对应new_column=z的重复记录会在去重阶段被直接丢弃，合并结果仅保留new_column=c的首次匹配项，完全符合预期。

自定义匹配规则 #

如果需要调整「首次匹配」的判定逻辑（比如按时间取最早记录、按字段优先级取最高优先级记录），可以先对右表按规则排序，再执行去重：

# 示例：按create_time列升序排序，保留每个id_y对应的最早记录
df_2_dedup = df_2.sort_values(by='create_time', ascending=True).drop_duplicates(subset=['id_y'], keep='first')

• 内存占用极低：所有去重操作在合并前完成，不会生成数倍于原数据的临时合并结果，从根源上规避MemoryError
• 逻辑完全匹配需求：右表重复键仅首条参与匹配，后续重复项自动忽略，无多余配对行
• 执行效率高：运行速度远快于「先合并再去重」方案，数据量越大性能优势越明显

内容的提问来源于stack exchange，提问作者Test