合并含重复共同标识的两个DataFrame：优先保留后者数据

需求说明 #

有两个列名完全一致的DataFrame，需按指定标识列（或多列）合并：

• 冲突行（标识列值在两个DataFrame中都存在）：完全保留第二个DataFrame（df2）的所有行（包括重复行），丢弃第一个DataFrame（df1）中对应标识的行
• 无冲突行（标识列值仅在其中一个DataFrame存在）：保留双方所有行（包括重复行）

示例数据 #

df1数据：

A,B,C,D
123,xyz,S1,1111
123,xyz,S1,1111
234,mno,S3,2222
999,abc,S9,9999
999,abc,S9,9999

df2数据：

A,B,C,D
123,abc,S1,1234
123,abc,S1,1234
123,abc,S1,1234
123,cde,S2,2345
234,nop,S3,
567,pqr,S5,5555

期望输出 #

A,B,C,D
123,abc,S1,1234
123,abc,S1,1234
123,abc,S1,1234
123,cde,S2,2345
234,nop,S3,
567,pqr,S5,5555
999,abc,S9,9999
999,abc,S9,9999

问题分析 #

你之前使用combine_first的方案会导致冲突行重复过多，原因是该方法会按索引逐行交叉匹配：当df1的A=123有2行、df2的A=123有3行时，会生成2×3=6行重复数据，不符合需求。

解决方案 #

核心思路：先筛选出df1中与df2无冲突的行，再和df2的全部行合并，既保证冲突行只保留df2的全量数据，又保留df1的无冲突行。该方案支持单/多索引，且适合百万级数据量（基于pandas高效向量操作）。

代码实现 #

单索引场景（以A列为标识）

import pandas as pd
from io import StringIO

# 读取数据
csv1_data = """A,B,C,D
123,xyz,S1,1111
123,xyz,S1,1111
234,mno,S3,2222
999,abc,S9,9999
999,abc,S9,9999"""

csv2_data = """A,B,C,D
123,abc,S1,1234
123,abc,S1,1234
123,abc,S1,1234
123,cde,S2,2345
234,nop,S3,
567,pqr,S5,5555"""

df1 = pd.read_csv(StringIO(csv1_data), dtype=str, keep_default_na=False)
df2 = pd.read_csv(StringIO(csv2_data), dtype=str, keep_default_na=False)

# 指定标识列（单列）
id_cols = ['A']

# 获取df2中存在的标识值集合
df2_ids = df2[id_cols].drop_duplicates()

# 筛选df1中不在df2标识集合里的行
df1_filtered = df1[~df1.merge(df2_ids, on=id_cols, how='left', indicator=True)['_merge'].eq('both')]

# 合并df2和筛选后的df1
result_df = pd.concat([df2, df1_filtered], ignore_index=True)

print(result_df)

多索引场景（动态指定多列标识）

如果需要用多列（如['A','A1','A2']）作为标识，只需修改id_cols即可，逻辑完全一致：

# 动态指定多列标识
id_cols = ['A', 'A1', 'A2']

# 后续代码与单索引场景完全相同
df2_ids = df2[id_cols].drop_duplicates()
df1_filtered = df1[~df1.merge(df2_ids, on=id_cols, how='left', indicator=True)['_merge'].eq('both')]
result_df = pd.concat([df2, df1_filtered], ignore_index=True)

方案优势 #

• 避免combine_first的交叉重复问题，完全符合需求
• 基于pandas的向量操作，处理百万级数据性能优异
• 支持动态指定单/多列标识，扩展性强

内容的提问来源于stack exchange，提问作者SpaceyBot