Pandas合并含不匹配行的两个DataFrame并排列做差异对比
实现流程
这套逻辑完全不需要考虑两个DataFrame的行顺序问题,核心分三步执行,代码可以直接复用到同类比对场景:
1. 预处理关联键,避免匹配失败
先把用来匹配行的公共字段(也就是提到的ID、Day)统一成相同类型,避免因为类型不一致(比如一个是整数ID、一个是字符串ID)出现匹配错位:
# 定义行匹配的关联键 join_keys = ['ID', 'Day'] # 统一关联键的字段类型 for df in [initial, updated]: for key in join_keys: df[key] = df[key].astype(str)
2. 重命名待比对字段
给两个表中需要做值比对的同名字段加来源后缀,关联键保持原列名不变,避免合并时出现列名冲突:
# 定义需要逐行比对值的非关联字段 compare_cols = ['Value', 'Letter'] initial_renamed = initial.rename( columns={col: f'{col}_initial' for col in compare_cols} ) updated_renamed = updated.rename( columns={col: f'{col}_updated' for col in compare_cols} )
3. 合并并筛选差异行
按关联键匹配合并两个表,逐行检查所有待比对字段,只要存在任意一个字段值不相等,就保留该行,最后调整列顺序,让同名字段的初值、更新值并排展示:
# 合并数据,inner代表只保留两个表通过关联键匹配上的共有行 merged = pd.merge( initial_renamed, updated_renamed, on=join_keys, how='inner' ) # 逐行计算差异标记:只要任意一个待比对字段值不等,就标记为差异行 diff_mask = False for col in compare_cols: diff_mask = diff_mask | (merged[f'{col}_initial'] != merged[f'{col}_updated']) # 筛选差异行并调整列顺序 result = merged[diff_mask] ordered_cols = join_keys.copy() for col in compare_cols: ordered_cols.extend([f'{col}_initial', f'{col}_updated']) result = result[ordered_cols].reset_index(drop=True)
补充说明
- 如果需要把「仅在初始表存在、仅在更新表存在」的行也纳入差异统计,只要把合并时的
how='inner'改成how='outer'即可,pandas会自动给缺失的来源值填充NaN,这类值不等的行也会被正常筛选出来。 - 这套逻辑的扩展性很强,后续新增需要比对的字段时,只要把字段名加到
compare_cols列表里就行,不需要修改筛选、列排序的代码。 - 按照提供的原始数据运行代码,输出结果和示例的唯一差异是789行的
Letter_updated值为V(来自原始updated表的定义),如果需要和示例完全一致,直接把updated表中789对应的Letter值改成C即可,整套比对逻辑不受影响。
内容的提问来源于stack exchange,提问作者heycurl
相关产品推荐
相关产品推荐

