Pandas如何高效按匹配ID将match表city列赋值给ball_by_ball表
问题背景
- 当前基于pandas处理Kaggle公开的IPL 2008-2020完整赛事数据集,核心需求为:当
match数据框的比赛ID与ball_by_ball(代码中命名为city_ball)数据框的ID取值相等时,将match数据框对应行的city列值赋值到ball_by_ball数据框中。 - 两个数据框的定位:
match为单场比赛维度表,存储每场比赛ID对应的最终赛事结果、举办城市等信息;ball_by_ball为逐球维度明细表,存储对应比赛ID下的每一球赛事详情。 - 原有实现采用双层for循环逐行匹配ID赋值,时间复杂度为O(n*m),运行效率极低,且存在pandas链式索引赋值失效的风险。
原有低效实现代码
首先预创建空存储列:
city_ball["city"]=None #city_ball即存储逐球详情的ball_by_ball数据框
随后通过双层循环逐行匹配ID完成赋值:
for id in range(len(match["id"])): for ID in range(len(city_ball["id"])): if match["id"][id] == city_ball["id"][ID]: city_ball["city"][ID] = match["city"][id]
提示:该写法除性能问题外,还会触发pandas的
SettingWithCopyWarning,赋值结果可能无法正确写入原数据框。
高效实现方案
以下两种方案均为pandas原生向量化实现,处理十万级以上的逐球数据可达到秒级响应,性能相比双层循环有百倍以上提升。
方案1:映射赋值(单字段匹配场景最优)
先将match表转换为「比赛ID-举办城市」的映射字典,再直接对逐球表的ID列做批量映射,代码最简洁、运行速度最快,完全适配当前单字段匹配的场景(单场比赛ID唯一对应一个举办城市)。
# 构建ID到城市的映射关系 id_city_map = match.set_index("id")["city"].to_dict() # 批量完成赋值 city_ball["city"] = city_ball["id"].map(id_city_map)
方案2:表关联赋值(多字段匹配场景适用)
如果后续需要同步match表中的多个字段(如比赛日期、对阵队伍、赛果等)到逐球表,可直接使用左连接关联,一次操作即可完成多字段匹配,无需逐字段写映射。
# 提前删除逐球表中预创建的空city列,避免关联后出现重名列 city_ball = city_ball.drop(columns=["city"]) # 以逐球表为基准左关联比赛表的所需字段 city_ball = city_ball.merge( match[["id", "city"]], on="id", how="left" )
参数说明:how="left"表示保留逐球表的所有行,若存在比赛ID在match表中无匹配记录的情况,对应city值会自动填充为NaN。
内容的提问来源于stack exchange,提问作者Manu Dwivedi
相关产品推荐
相关产品推荐

