如何移除df2中与df1重复的行（保留df1不变）

嗨，我太懂你这种处理大列数DataFrame的痛苦了——用concat或者普通merge要么带进来一堆没用的列，要么不小心把df1的行混进df2里，完全偏离需求。其实咱们只需要聚焦那四个判断重复的字段（Key、Date1、Num、Date2），就能精准搞定，给你两个靠谱的方法：

方法1：用merge的indicator参数（稳妥且易理解） #

这个方法的核心是只拿df1的四个键列做匹配，避免引入多余列，同时通过indicator标记行的来源，最后过滤出仅属于df2的行：

# 仅提取df1中用于判断重复的四个键列，和df2做左连接
merged_result = df2.merge(
    df1[['Key', 'Date1', 'Num', 'Date2']],
    on=['Key', 'Date1', 'Num', 'Date2'],
    how='left',
    indicator=True  # 标记每一行来自哪个DataFrame
)

# 过滤出仅存在于df2的行，并移除标记列
df2_cleaned = merged_result[merged_result['_merge'] == 'left_only'].drop('_merge', axis=1)

• 为什么好用？因为我们只传递了df1的四个必要列，merge后不会多出几百个无关列；
• 左连接（how='left'）只会保留df2的所有行，不会把df1的行加进来；
• _merge列的left_only值就代表这一行只在df2里存在，完全符合你的去重需求。

方法2：用集合+元组（数据量大时更高效） #

如果你的DataFrame行数特别多，这个方法的查找速度会更快，原理是把四个键组合成元组，利用集合的快速查找特性：

# 把df1的四个键转换成元组集合，方便O(1)速度查找
df1_unique_keys = set(df1[['Key', 'Date1', 'Num', 'Date2']].itertuples(index=False, name=None))

# 过滤df2中不在df1键集合里的行
df2_cleaned = df2[
    ~df2[['Key', 'Date1', 'Num', 'Date2']].itertuples(index=False, name=None).isin(df1_unique_keys)
]

⚠️ 注意：如果你的四个键里有NaN值，这个方法可能会有问题——因为NaN不等于任何值（包括它自己），包含NaN的元组会无法匹配，这种情况下优先用方法1。

为什么之前的方法踩坑了？ #

你之前用concat/merge出问题，大概率是没限制df1的参与列（把所有几百列都带进来了），或者用了outer/inner这类会合并双方行的连接方式，而上面两个方法都精准锁定了判断重复的核心字段，完全不会触碰df1的其他数据，也不会修改df1本身。

内容的提问来源于stack exchange，提问作者CandleWax