如何用pandas匹配另一dataframe中同id且早于目标日期的最近日期行
pandas实现方案
你可以用pandas内置的merge_asof方法高效实现需求,这是专门用于按最近值匹配的工具,比自定义循环或分组过滤性能高很多,具体步骤如下:
步骤1:导入依赖并构造测试数据
import pandas as pd # 构造DataFrame1示例数据 df1 = pd.DataFrame([ [1, '11-04-2022'], [1, '03-02-2011'], [2, '03-05-2222'], [3, '01-01-2001'], [4, '02-02-2012'] ], columns=['id', 'date1']) # 构造DataFrame2示例数据 df2 = pd.DataFrame([ [1, '11-02-2222', 1, 3], [1, '11-02-1999', 3, 4], [1, '11-03-2022', 4, 5], [2, '22-03-4444', 5, 6], [2, '22-02-2020', 7, 8] ], columns=['id', 'date2', 'data', 'data2'])
步骤2:转换日期列为标准datetime类型
避免字符串比较出现逻辑错误,指定日期格式为日-月-年防止pandas解析出错:
df1['date1'] = pd.to_datetime(df1['date1'], format='%d-%m-%Y') df2['date2'] = pd.to_datetime(df2['date2'], format='%d-%m-%Y')
步骤3:按规则排序两个DataFrame
merge_asof要求用于匹配的日期列必须为升序,且先按分组键id排序:
df1 = df1.sort_values(by=['id', 'date1']).reset_index(drop=True) df2 = df2.sort_values(by=['id', 'date2']).reset_index(drop=True)
步骤4:执行最近日期匹配
设置direction='backward'表示匹配小于等于当前date1的最近date2,按id分组匹配:
result = pd.merge_asof( df1, df2, by='id', left_on='date1', right_on='date2', direction='backward' )
步骤5:过滤并格式化结果
如果需要严格要求date2早于date1,且去掉无匹配的行,可执行以下操作:
# 过滤严格早于date1的记录 result = result[result['date2'] < result['date1']] # 去掉无匹配的空行 result = result.dropna(subset=['date2', 'data', 'data2']).reset_index(drop=True) # 还原日期为原始字符串格式(可选) result['date1'] = result['date1'].dt.strftime('%d-%m-%Y') result['date2'] = result['date2'].dt.strftime('%d-%m-%Y')
最终输出的result就和你给出的预期格式完全一致。
内容的提问来源于stack exchange,提问作者jr123456jr987654321
相关产品推荐
相关产品推荐

