如何基于ID验证两个DataFrame指定列数值一致性并找出差异行

完全可以实现，哪怕是3万+行的数据集，用pandas的合并与布尔索引就能高效完成。以下是具体实现步骤和代码：

核心思路 #

1. 统一两个DataFrame的ID列类型，避免类型不匹配导致的比对失效
2. 通过外连接（outer join）合并两个表，保留所有ID（包括仅在单个表中存在的ID）
3. 针对指定列，标记出值不匹配或某侧缺失（NaN）的行
4. 筛选并整理差异行结果

代码示例 #

假设两个DataFrame分别为df1和df2，需要比对的列为State和Occupation：

import pandas as pd

# 统一ID列类型（示例转为字符串，可根据实际情况调整）
df1['ID'] = df1['ID'].astype(str)
df2['ID'] = df2['ID'].astype(str)

# 按ID外连接，添加后缀区分两个表的列
merged_df = pd.merge(df1, df2, on='ID', how='outer', suffixes=('_df1', '_df2'))

# 指定需要比对的列
compare_cols = ['State', 'Occupation']

# 生成差异行的筛选掩码
diff_mask = pd.Series([False] * len(merged_df))
for col in compare_cols:
    col_df1 = f"{col}_df1"
    col_df2 = f"{col}_df2"
    # 同时处理值不相等和单侧缺失的情况
    col_diff = (merged_df[col_df1] != merged_df[col_df2]) | merged_df[col_df1].isna() | merged_df[col_df2].isna()
    diff_mask = diff_mask | col_diff

# 筛选出所有差异行
diff_rows = merged_df[diff_mask]

# 可选：整理输出列，只保留ID和比对列的信息
output_columns = ['ID'] + [f"{c}_df1" for c in compare_cols] + [f"{c}_df2" for c in compare_cols]
diff_rows = diff_rows[output_columns]

# 查看结果
print(diff_rows)

注意事项 #

• 如果ID存在重复值，需先对单个DataFrame做去重或聚合处理，否则合并后会产生笛卡尔积，影响结果准确性
• 若只需要比对两个表共同存在的ID的差异，可将merge的how参数改为'inner'
• 3万行数据的处理速度在常规机器上完全可控，无需担心性能问题

内容的提问来源于stack exchange，提问作者KL_