如何高效在百万级Pandas数据集上实现双条件匹配关联？

我用Pandas的apply函数模拟Excel的Vlookup功能，处理60万行、10-15列的Google Analytics数据集时效率极低，耗时长达10分钟。需求是给数据集df_ftr中的每个唯一URL分配对应的campaignId，当前通过匹配表df_match结合apply+lambda实现，相关信息如下：

字段说明 #

当前使用的低效代码 #

df_ftr['campaignId'] = df_ftr['pagePath'].progress_apply(lambda x: df_match['campaignId'][(df_match['pagePath'] == x) & (df_match['property'] == i)].values[0] if len(df_match.loc[df_match['pagePath'] == x].loc[df_match['property'] == i].values) > 0 else np.nan)

数据集示例 #

df_ftr（GA数据集片段）

df_match（匹配表片段）

我试过用pandarallel多核处理，仅能减少约25%的耗时，仍无法满足频繁执行的需求，求最高效的实现方式。

最优解决方案 #

核心思路：用Pandas矢量化的merge替代逐行循环的apply #

apply是逐行遍历操作，在大数据集上效率极低；而merge是Pandas专为表关联设计的矢量化实现，底层基于C优化，效率能提升几十到上百倍，60万行数据通常几秒就能完成。

具体实现代码 #

# 1. 确保匹配表的关联键组合唯一（避免merge后出现重复行）
df_match = df_match.drop_duplicates(subset=['pagePath', 'property'])

# 2. 执行左连接，保留主数据集所有行，匹配不到的campaignId自动设为NaN
df_ftr = df_ftr.merge(
    df_match[['pagePath', 'property', 'campaignId']],  # 只取需要的关联字段
    on=['pagePath', 'property'],  # 指定双关联键
    how='left'  # 左连接：保留df_ftr的全部行
)

可选优化：用join结合索引进一步提速 #

如果匹配表df_match的规模固定，可以先给关联键设置索引，再用join操作，效率会略高于普通merge：

# 给匹配表设置复合索引
df_match_indexed = df_match.set_index(['pagePath', 'property'])['campaignId']

# 执行join操作
df_ftr['campaignId'] = df_ftr.join(df_match_indexed, on=['pagePath', 'property'])['campaignId']

关键注意事项 #

• 必须确保df_match中的pagePath+property组合是唯一的，否则merge会产生重复行，可通过drop_duplicates提前去重
• 左连接(how='left')会保留主数据集的所有行，匹配不到的记录campaignId自动为NaN，完全符合原逻辑

内容的提问来源于stack exchange，提问作者Jeroen Vester