You need to enable JavaScript to run this app. 如何高效通过关联带日期的DataFrame填充目标DataFrame指定列
优惠活动
大模型
产品
解决方案
定价
更多

如何高效通过关联带日期的DataFrame填充目标DataFrame指定列

高效实现方案

核心优化思路

你原来的代码性能差的核心原因是逐行遍历+全表布尔索引,时间复杂度是O(N*M)(N是df1的80万行,M是df2的500万行),属于pandas性能优化的典型反面案例。优化方向是用向量化操作替代循环,先按姓名关联两张表再做时间过滤,把时间复杂度降到O(N+M)。

前置处理要求

首先必须把所有日期列从字符串转为pandas datetime类型,避免字符串比较的逻辑错误,同时提升比较效率。

具体实现步骤

  1. 日期格式转换,同时处理df2的空结束日期:将空的End Date填充为最大时间戳,后续时间比较不需要额外判断空值
  2. 给df2添加原始行号,方便后续重复匹配时取第一条记录
  3. 按Name字段左连接df1和df2,一次性关联同一个人的所有就读记录
  4. 过滤出df1日期处于就读时间段的记录
  5. 按df1的原始索引去重,每个df1行只保留第一个匹配的学校
  6. 将匹配结果回填到df1的School列

完整代码

import pandas as pd

# ---------------------- 1. 预处理日期和空值 ----------------------
# 日期格式为日/月/年,转换时指定format避免解析错误
date_parser = lambda x: pd.to_datetime(x, format='%d/%m/%Y', errors='coerce')
df1['Date'] = date_parser(df1['Date'])
df2['Start Date'] = date_parser(df2['Start Date'])
df2['End Date'] = date_parser(df2['End Date'])

# 空的结束日期代表至今在读,填充为最大时间戳
df2['End Date'] = df2['End Date'].fillna(pd.Timestamp.max)
# 给df2加原始行号,后续重复匹配时取第一行
df2['rank'] = df2.groupby('Name').cumcount()

# ---------------------- 2. 关联并过滤 ----------------------
# 先按Name左连接两张表
merged = df1.reset_index().merge(df2, on='Name', how='left')
# 过滤符合时间条件的记录,如需严格匹配原代码的开区间逻辑,把>=改为>、<=改为<即可
filtered = merged[(merged['Date'] >= merged['Start Date']) & (merged['Date'] <= merged['End Date'])]
# 按df1的原始索引排序,取每个索引的第一个匹配记录
filtered = filtered.sort_values(['index', 'rank']).drop_duplicates('index', keep='first')[['index', 'School']]

# ---------------------- 3. 回填结果到df1 ----------------------
df1 = df1.merge(filtered, left_index=True, right_on='index', how='left')
df1['School'] = df1['School_y'].fillna('')
df1 = df1.drop(['School_x', 'index', 'School_y'], axis=1)

性能说明

该方案所有操作均为pandas底层C实现的向量化运算,80万行df1和500万行df2的处理时间通常在1分钟到5分钟之间,远快于原代码的5小时运行时长。如果内存紧张,也可以按Name分块处理,不会出现OOM问题。

内容的提问来源于stack exchange,提问作者wanderingcatto

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 17:45:03