Pandas大文件场景下带行列匹配规则的空E列填充性能优化

核心需求 #

需同时满足以下全部条件时，将匹配目标行的D列值填充至当前行E列：

• 当前行E列无有效取值
• 目标行与当前行A列字符串完全一致
• 目标行的对应列取值与当前行关联列取值完全匹配，与原实现代码的匹配逻辑保持一致

原始数据 #

原实现的性能瓶颈 #

原代码采用逐行遍历全表的方式，每次匹配都需要执行两次全表条件筛选，时间复杂度为O(n²)。当数据量达到十万行以上时，运行时间会呈平方级增长，完全不适合大文件场景。

优化思路 #

提前构建映射关系，将全表筛选替换为O(1)复杂度的查找，整体时间复杂度降至O(n)，同等硬件条件下速度可提升数十至数百倍，可支撑百万行级大文件的处理需求。

优化代码实现 #

import pandas as pd
import numpy as np
# 1. 构建映射关系：键为(目标行A值, 目标行C值)，值为对应D列值
# 重复键保留首次出现的D值，与原代码取第一个匹配结果的逻辑完全一致
lookup = (
    df.drop_duplicates(subset=['A', 'C'], keep='first')
      .assign(lookup_key=lambda x: list(zip(x['A'], x['C'])))
      .set_index('lookup_key')['D']
      .to_dict()
)
# 2. 仅对E列为空的行做匹配填充
mask = df['E'].isna()
df.loc[mask, 'E'] = df.loc[mask].apply(
    lambda row: lookup.get((row['A'], row['B']), np.nan),
    axis=1
)

极致性能版本（零Python层循环） #

如果数据量达到百万行以上，可将逐行apply替换为pandas原生的merge操作，完全规避Python层的循环开销，性能进一步提升：

# 1. 构造匹配用的临时键
df['_match_key'] = list(zip(df['A'], df['B']))
# 2. 从全表提取映射关系作为辅助查询表
lookup_df = (
    df[['A', 'C', 'D']]
    .drop_duplicates(subset=['A', 'C'], keep='first')
    .assign(_lookup_key=lambda x: list(zip(x['A'], x['C'])))
    [['_lookup_key', 'D']]
    .rename(columns={'D': 'fill_value'})
)
# 3. 左连接匹配值
df = df.merge(lookup_df, left_on='_match_key', right_on='_lookup_key', how='left')
# 4. 仅对E列原本为空的位置填充匹配值
df.loc[df['E'].isna(), 'E'] = df.loc[df['E'].isna(), 'fill_value']
# 5. 清理临时生成的辅助列
df = df.drop(columns=['_match_key', '_lookup_key', 'fill_value'])

期望处理结果 #

注：如果匹配的关联列存在调整，只需修改lookup表的键构成即可，整体性能优化框架无需改动。

内容的提问来源于stack exchange，提问作者Alexisargentine