基于分组与最近日期的Pandas DataFrame合并问题求助

问题分析 #

你的核心需求是：基于Type分组，为df1的每条记录匹配df2中日期在当前记录之后且最近的value2，并填充到df1['value1']，无匹配项时保留原0值。之前的代码问题在于merge_asof的左右表顺序搞反，且方向逻辑不符合需求。

修正后的代码 #

import pandas as pd 

df1 = pd.DataFrame({ 
    'Type': ['Labor', 'Material', 'Labor', 'Material' , 'Labor', 'Material', 'Labor', 'Material'],
    'date1': ['2021-01-01', '2021-01-01', '2021-02-01', '2021-02-01', '2021-03-01', '2021-03-01', '2021-04-01', '2021-04-01'], 
    'value1': [0,0,0,0,0,0,0,0]
})
df2 = pd.DataFrame({ 
    'Type': ['Labor', 'Material', 'Labor', 'Material'],
    'date2': ['2021-01-11', '2021-02-22', '2021-02-05', '2021-03-15'], 
    'value2': [10,20,25,45]
})

# 转换日期为datetime类型
df1['date1'] = pd.to_datetime(df1['date1'])
df2['date2'] = pd.to_datetime(df2['date2'])

# merge_asof要求必须按分组键和日期排序
df1_sorted = df1.sort_values(['Type', 'date1'])
df2_sorted = df2.sort_values(['Type', 'date2'])

# 以df1为基准，匹配同Type下date1之后最近的date2
merged = pd.merge_asof(
    df1_sorted, 
    df2_sorted, 
    by='Type',
    left_on='date1',
    right_on='date2',
    direction='forward'  # forward表示找第一个大于等于左表日期的右表日期
)

# 填充value1：有匹配到value2则替换，否则保留原0值
merged['value1'] = merged['value2'].fillna(merged['value1'])

# 整理成期望的输出格式
result = merged[['Type', 'date1', 'value1']].rename(columns={'date1': 'Date', 'value1': 'Value'}).sort_values(['Date', 'Type'])

display(result)

代码说明 #

1. 日期转换与排序：merge_asof要求左右表必须按by（分组列）和on（日期列）排序，否则无法正确匹配。
2. merge_asof参数：
   • direction='forward'：确保只匹配左表日期之后的最近右表日期，完全符合你期望输出的逻辑。
   • 以df1为左表：保证最终结果保留df1的所有原始记录。
3. 值填充：用fillna保留无匹配项的原0值，避免覆盖。

Pandas是否是最佳选择？ #

对于这类结构化数据的合并、分组、日期匹配场景，Pandas绝对是首选工具：

• 提供merge_asof这类专门处理近似日期匹配的高效函数，代码简洁易维护。
• 支持从几十行到数百万行的数据处理，性能足够应对绝大多数日常需求。
• 生态完善，配套工具（如Jupyter Notebook）和社区资源丰富，遇到问题容易找到解决方案。
  如果是超大规模的分布式数据处理（如亿级行），可以考虑Dask，但日常场景下Pandas完全够用且性价比最高。

内容的提问来源于stack exchange，提问作者BP130