Pandas分组内行对比逻辑性能优化求助

问题背景 #

你当前的Pandas程序用于处理CDC（变更数据捕获）系统数据：每个Update操作对应同_Change-Sequence下的两行数据——_Operation=3为旧值、_Operation=4为新值。需区分真实值变为Null和未变更列的Null，最终每组仅保留_Operation=4的行，仅展示变更列值，未变更列设为NaN，但现有实现性能不佳。

核心优化思路 #

放弃逐行/逐组的Python循环，改用Pandas矢量化操作+透视对齐的方式，利用C级别的底层实现大幅提升性能，同时精准匹配业务逻辑。

优化实现代码 #

import pandas as pd

# 假设原始数据框为df
# 1. 提前过滤仅保留Update相关操作（减少处理数据量）
update_data = df[df['_Operation'].isin([3, 4])].copy()

# 2. 按变更序列分组，将新旧值行转为列对齐
pivoted = update_data.pivot(
    index='_Change-Sequence',
    columns='_Operation',
    values=[col for col in df.columns if not col.startswith('_')]
)
# 重命名列，区分新旧值
pivoted.columns = [f'{col}_{op}' for col, op in pivoted.columns]

# 3. 矢量化对比，标记变更列
business_cols = [col.split('_')[0] for col in pivoted.columns if col.endswith('_3')]
for col in business_cols:
    old_col = f'{col}_3'
    new_col = f'{col}_4'
    # 生成变更掩码：值不等 或 新值为Null但旧值非Null（真实变更为Null）
    change_mask = ~pivoted[old_col].eq(pivoted[new_col]) | (pivoted[new_col].isna() & ~pivoted[old_col].isna())
    # 未变更列设为NaN
    pivoted[new_col] = pivoted[new_col].where(change_mask, pd.NA)

# 4. 整理成目标输出格式
result = pivoted[[col for col in pivoted.columns if col.endswith('_4')]]
result.columns = [col.replace('_4', '') for col in result.columns]
# 补充系统列并重置索引
result['_Change-Sequence'] = pivoted.index
result = result.reset_index(drop=True)

性能优化关键点 #

• 矢量化替代循环：用eq、isna、where等Pandas内置矢量化方法替代自定义循环，底层为C实现，速度提升10~100倍（数据量越大效果越明显）
• 减少分组次数：一次透视完成新旧值的对齐，避免多次分组操作带来的开销
• 提前过滤数据：先筛选出仅包含_Operation=3/4的行，减少后续处理的数据规模
• 精准列操作：仅处理业务列（排除_开头的系统列），避免不必要的计算

极端数据量适配 #

若数据量超千万级，可进一步用Dask进行并行分块处理，或用NumPy数组直接操作底层数据，进一步压缩性能开销。

内容的提问来源于stack exchange，提问作者Vincent