如何对比两个Pandas DataFrame并移除日报表中的重复项（不追加数据）

嘿，我懂你的需求了——就是要从日报表dfdaily里剔除掉那些已经在主表dfmaster中存在的记录，而且全程不改动主表本身对吧？下面分两种常见场景给你具体的实现方案：

场景1：判断整行完全重复 #

如果你的重复定义是两行所有列的内容完全一致，可以用这个方法：

import pandas as pd

# 读取数据（你已经完成这步啦）
dfmaster = pd.read_csv("test_master.csv")
dfdaily = pd.read_csv("test_daily.csv")

# 筛选出日报表中不在主表的记录（自动移除整行重复项）
dfdaily_dedup = dfdaily[~dfdaily.isin(dfmaster)].dropna(how='all')

简单解释下：

• dfdaily.isin(dfmaster)会生成一个布尔矩阵，标记每个单元格的值是否在主表中存在
• ~符号取反，得到“不在主表中”的标记
• dropna(how='all')用来移除那些所有列都为空的行——也就是整行和主表完全重复的记录

场景2：基于特定主键列判断重复（更实用） #

大多数业务场景里，我们会用特定的主键（比如用户ID+记录日期这类组合）来判断重复，而不是整行对比。比如假设你的数据里user_id和record_date是唯一标识一条记录的组合键：

方法一：利用索引对比 #

import pandas as pd

dfmaster = pd.read_csv("test_master.csv")
dfdaily = pd.read_csv("test_daily.csv")

# 定义判断重复的主键列
key_columns = ['user_id', 'record_date']

# 将两个表的主键转为索引，方便快速对比
master_index = dfmaster.set_index(key_columns).index
daily_index = dfdaily.set_index(key_columns).index

# 筛选出日报表中主键不在主表里的记录
dfdaily_dedup = dfdaily[~daily_index.isin(master_index)]

方法二：用merge的标记功能（更直观） #

# 左连接两个表，标记每条记录的来源
merged = dfdaily.merge(dfmaster, on=key_columns, how='left', indicator=True)

# 只保留仅存在于日报表的记录，再移除合并产生的标记列
dfdaily_dedup = merged[merged['_merge'] == 'left_only'].drop(columns=['_merge'])

这两种方法都能精准筛选出日报表里主表没有的记录，而且全程不会修改主表dfmaster，完全符合你的要求。

内容的提问来源于stack exchange，提问作者Philalethes