如何对比两个Pandas DataFrame的数值差异与新增行？

首先给出示例DataFrame定义：

import pandas as pd

df1 = pd.DataFrame({
    'col1': ['value 1', 'value 2', 'value 3'],
    'col2': ['value 1', 'value 2', 'value 3'],
})
df2 = pd.DataFrame({
    'col1': ['value X', 'value 2', 'value 3', 'value 4'],
    'col2': ['value 1', 'value 2', 'value 3', 'value 4'],
})

a) 找出df1与df2之间的所有数值差异 #

要精准定位所有数值差异（包括匹配行的列值不同、两边独有的行），最优方案是通过merge结合标记位实现：

# 外连接合并两个DataFrame，标记行来源，添加区分后缀
merged = df1.merge(df2, on=['col2'], how='outer', suffixes=('_df1', '_df2'), indicator=True)

# 筛选匹配但col1值不同的行
mismatched_cols = merged[(merged['_merge'] == 'both') & (merged['col1_df1'] != merged['col1_df2'])]

# 筛选仅存在于df1或df2的独有行
unique_rows = merged[merged['_merge'] != 'both']

# 合并所有差异结果并清理冗余列
all_differences = pd.concat([mismatched_cols, unique_rows]).drop(columns='_merge')
print(all_differences)

输出结果：

col1_df1     col2 col1_df2
0   value 1  value 1  value X
2       NaN  value 4  value 4

这个方案能清晰区分：

• 匹配行中列值的差异（如col1的value 1与value X）
• 仅存在于某一侧的独有行（如df2新增的value 4行）

b) 找出df2中的新增行 #

提取df2独有的行，推荐两种高效实现：

方法1：merge标记法（大数据量更高效） #

new_rows_df2 = df2.merge(df1, how='left', indicator=True).query('_merge == "left_only"').drop(columns='_merge')
print(new_rows_df2)

方法2：元组匹配法（小数据量简洁直观） #

new_rows_df2 = df2[~df2.apply(tuple, axis=1).isin(df1.apply(tuple, axis=1))]
print(new_rows_df2)

两种方法输出一致：

col1     col2
0  value X  value 1
3  value 4  value 4

原方法的局限性 #

你之前尝试的concat+groupby方案仅能找出两边出现一次的行，但无法区分行来源（是df1独有还是df2独有），也无法定位具体列的数值差异，因此无法完全满足需求。

内容的提问来源于stack exchange，提问作者gumis