如何优化基于两个Pandas DataFrame映射分类的Python代码运行速度?
Jupyter Notebook运行速度波动的原因
- 后台资源占用差异:不同Notebook运行时,机器后台的其他进程、其他内核、浏览器扩展/其他标签页的资源占用情况不同,会直接影响当前代码的CPU、内存分配,导致速度波动。
- 内核缓存状态:如果之前运行过相关数据处理代码,pandas会将部分数据缓存在内存中,后续运行时无需重新读取/计算,速度会更快;刚重启的内核没有缓存,首次运行速度就会偏慢。
- 环境依赖差异:不同Notebook如果关联了不同的虚拟环境,pandas、numpy等依赖库的版本不同,底层优化程度存在差异,也会导致相同代码运行速度不同。
- 存储IO差异:如果不同Notebook的工作目录位于不同存储介质(SSD/HDD/网络存储),数据读写的IO速度差异也会反映在代码运行耗时上。
代码优化方案
你原有代码耗时极长的核心原因是使用了嵌套Python循环+逐行loc全局扫描,时间复杂度为O(n*m),属于pandas使用的典型反模式。以下优化方案完全使用向量化操作,运行效率可提升几十上百倍,你的数据量下耗时可压缩到秒级:
优化代码
import pandas as pd category_list = ["a", "b", "c", "d", "e", "f"] # 可选:如果df1的Evt_ID有重复,先去重,保留第一个即可 df1 = df1.drop_duplicates("Evt_ID", keep="first") # 步骤1:把df1的宽格式转为长格式,生成匹配规则表 df1_rule = df1.melt( id_vars="Evt_ID", value_vars=[f"{cat}_idx" for cat in category_list], var_name="y", value_name="jet_idx" ) # 处理分类名称,去掉_idx后缀 df1_rule["y"] = df1_rule["y"].str.replace("_idx", "", regex=False) # 生成对应的Jet名称,和df2的Name列对应 df1_rule["Name"] = "Jet" + (df1_rule["jet_idx"] + 1).astype(str) # 步骤2:和df2左连接完成匹配 df2["y"] = "unknown" df2 = df2.merge( df1_rule[["Evt_ID", "Name", "y"]], on=["Evt_ID", "Name"], how="left", suffixes=("", "_match") ) # 用匹配到的结果覆盖y列,无匹配保持unknown df2["y"] = df2["y_match"].fillna(df2["y"]) # 删掉临时生成的匹配列 df2 = df2.drop("y_match", axis=1)
优化逻辑说明
- 用
melt将原来df1里的6个idx列从横向排列转为纵向的规则条目,每一条规则对应「Evt_ID+Jet名称」对应的分类,完全替代循环遍历每个事件、每个idx的操作。 - 用pandas底层C实现的
merge完成批量匹配,避免了逐行loc的全局扫描开销,时间复杂度压缩到O(n+m)。
内容的提问来源于stack exchange,提问作者thyhmoo
相关产品推荐
相关产品推荐

