如何在百万级组合DataFrame上实现Excel Index Match等效的高效匹配

核心思路 #

完全放弃遍历类操作，利用pandas底层C实现的向量化运算、多重索引哈希查找能力，处理效率是遍历方案的数百倍

前置假设 #

第二张待填充工作表包含2个关键字段：待匹配的pincode（邮政编码）、待匹配的城市名称，需要新增列填充两个字段对应第一张交叉表的单元格值。

实现代码 #

步骤1：读取文件（优化IO效率） #

import pandas as pd

# 单次加载整个Excel文件，减少重复IO开销
with pd.ExcelFile("你的数据文件路径.xlsx", engine="openpyxl") as xls:
    # 读取交叉表，设置pincode列为索引
    df_cross = pd.read_excel(xls, sheet_name="第一张交叉表的表名", index_col=0)
    # 读取待填充的第二张表
    df_target = pd.read_excel(xls, sheet_name="第二张待填充表的表名")

步骤2：高性能匹配填充 #

# 将交叉表转为 (pincode, 城市名) 为索引的一维Series，全程无Python层循环
s_cross = df_cross.stack()
# 生成组合键后直接映射取值，百万级数据匹配耗时<1秒
df_target["匹配结果"] = pd.Series(zip(df_target["pincode"], df_target["城市名称"]), index=df_target.index).map(s_cross)
# 可选：无匹配值的位置填充自定义默认值
df_target["匹配结果"] = df_target["匹配结果"].fillna("无对应值")

步骤3：结果导出 #

with pd.ExcelWriter("填充完成的结果文件.xlsx", engine="openpyxl") as writer:
    df_target.to_excel(writer, index=False)

额外优化建议 #

• 若Excel读取速度过慢，可先把第一张交叉表单独另存为csv格式，使用pd.read_csv()读取，IO效率可提升3~10倍
• 内存不足时可对交叉表按列分块读取，处理完后合并结果
• 若交叉表值均为数值类型，可指定dtype=np.float32读取，减少内存占用提升运行速度

参考示意图 #

内容的提问来源于stack exchange，提问作者noob_master