对比两个DataFrame并提取目标行的技术实现问询

嘿，你已经完成了最关键的数据拆分步骤——把最新记录和旧版记录分成两个独立的DataFrame，这可是后续对比分析的好基础！针对你要处理的130列、2万多条数据的场景，我给你几个高效的实现方案：

方案一：用merge关联+标记，精准定位差异类型 #

这种方法适合先区分「新增记录」「删除记录」「更新记录」三类目标行，核心是依赖唯一标识列（比如记录ID、用户ID这类能唯一对应新旧记录的字段，一定要先确认你的数据里有这个字段！）

代码实现： #

import pandas as pd

# 假设你的唯一标识列是'record_id'，根据实际情况替换
merged_df = pd.merge(
    new_df, old_df, 
    on='record_id', 
    how='outer', 
    indicator=True, 
    suffixes=('_new', '_old')  # 给新旧表的同名字段加后缀区分
)

# 1. 提取仅在新表存在的行 → 新增的记录
new_added_records = merged_df[merged_df['_merge'] == 'left_only']

# 2. 提取仅在旧表存在的行 → 被删除的记录
deleted_records = merged_df[merged_df['_merge'] == 'right_only']

# 3. 提取两边都存在但内容有差异的行 → 被更新的记录
# 先筛选出两边都有的记录
both_exist_records = merged_df[merged_df['_merge'] == 'both']
# 对比所有非标识列，找出有差异的行
diff_mask = both_exist_records.apply(
    lambda row: any(
        row[f'{col}_new'] != row[f'{col}_old'] 
        for col in new_df.columns if col != 'record_id'
    ), 
    axis=1
)
updated_records = both_exist_records[diff_mask]

方案二：用compare直接对比（适合已对齐的数据集） #

如果你的两个DataFrame已经通过唯一标识对齐（比如把唯一标识设为索引），可以用Pandas的compare方法直接输出差异细节，这种方式更直观看到具体哪些字段有变化：

代码实现： #

# 先把唯一标识设为索引，确保两个表索引对齐
new_df.set_index('record_id', inplace=True)
old_df.set_index('record_id', inplace=True)

# 只对比两边都存在的记录（减少计算量）
common_record_ids = new_df.index.intersection(old_df.index)
# 输出差异，keep_equal=False表示不显示值相同的字段
diff_details = new_df.loc[common_record_ids].compare(
    old_df.loc[common_record_ids], 
    keep_shape=False, 
    keep_equal=False
)

大数据量优化小贴士 #

• 避免逐行循环：Pandas的内置方法（比如merge、compare）都是经过向量化优化的，比手动写for循环快N倍，尽量用这些方法
• 过滤无关字段：如果有些字段肯定会变化（比如更新时间戳），或者你不需要对比这些字段，先把它们从两个DataFrame中drop掉，减少计算量
• 内存管理：如果内存吃紧，可以把数据分块处理，或者用dtype参数把一些字符串列设为category类型，节省内存

内容的提问来源于stack exchange，提问作者CrazySpatial