如何高效提取两个Pandas DataFrame中存在差异的行？

不用循环，直接利用Pandas的矢量化操作就能快速筛选出两行不完全相同的记录，代码更简洁且性能更好（尤其是数据量大的时候）。

方法思路 #

1. 用eq()方法逐元素对比两个DataFrame，生成布尔型结果（相同为True，不同为False）
2. 用all(axis=1)判断每行是否所有元素都完全相同
3. 对结果取反后，作为索引从beforedf中筛选出不完全相同的行

代码示例 #

import pandas as pd

before = [["Tyler", 4000, "Florida"], ["Kwon", 2500, "Missouri"], ["Yoshi", 1900, "Hawaii"], ["Richard", 5600, "New York"]]
beforedf = pd.DataFrame(before, columns=["Name", "Balance", "Location"])

after = [["Tyler", 4000, "Virginia"], ["Kwon", 2600, "Missouri"], ["Yoshi", 1200, "Texas"], ["Richard", 5600, "New York"]]
afterdf = pd.DataFrame(after, columns=["Name", "Balance", "Location"])

# 筛选beforedf中与afterdf对应行不完全相同的行
result_df = beforedf[~beforedf.eq(afterdf).all(axis=1)]

代码解释 #

• beforedf.eq(afterdf)：逐元素对比两个DataFrame，返回布尔DataFrame
• .all(axis=1)：检查每行是否所有元素都相等（整行完全相同），返回布尔Series
• ~：取反操作，得到“整行不完全相同”的行的布尔索引
• 用该索引直接提取beforedf中的目标行，得到最终结果

如果需要直观展示前后行的差异，可以合并两个DataFrame：

# 合并两个DataFrame，清晰展示每行的前后变化
diff_df = pd.concat([beforedf, afterdf], axis=1, keys=["Before", "After"])
# 只保留存在差异的行
diff_df = diff_df[~beforedf.eq(afterdf).all(axis=1)]

内容的提问来源于stack exchange，提问作者Derek Kwon