Python如何按日期列合并两个dataframe且避免引入未来数据偏差

你要的合并规则可以直接用pandas原生的pd.merge_asof()方法实现，该方法天生支持时序数据的最近值匹配，不需要自己写遍历逻辑，执行效率很高。 #

实现逻辑 #

1. 预处理日期列：将两个DataFrame的日期列统一转换为datetime格式，且必须按日期升序排序（merge_asof要求匹配键有序）
2. 调用merge_asof并设置direction='backward'：该参数表示对dfB的每一行，匹配dfA中小于等于当前日期的最近记录，完全符合你规避未来数据的要求

完整可运行代码 #

import pandas as pd

def merge_without_future_leak(dfA, dfB, date_col='date'):
    # 复制数据避免修改原表
    dfA_clean = dfA.copy()
    dfB_clean = dfB.copy()
    
    # 转换日期格式并按日期排序
    dfA_clean[date_col] = pd.to_datetime(dfA_clean[date_col])
    dfB_clean[date_col] = pd.to_datetime(dfB_clean[date_col])
    dfA_clean = dfA_clean.sort_values(date_col).reset_index(drop=True)
    dfB_clean = dfB_clean.sort_values(date_col).reset_index(drop=True)
    
    # 执行前向最近匹配
    df_merged = pd.merge_asof(dfB_clean, dfA_clean, on=date_col, direction='backward')
    
    # （可选）如果需要输出和示例一致的字符串日期格式，取消注释下面一行
    # df_merged[date_col] = df_merged[date_col].dt.strftime('%-m/%-d/%y')
    return df_merged

示例测试 #

# 构造示例输入
dfA = pd.DataFrame({
    'date': ['1/1/21', '1/3/21', '1/4/21', '1/10/21'],
    'i': [0,0,0,0]
})
dfB = pd.DataFrame({
    'date': ['1/1/21', '1/2/21', '1/3/21', '1/9/21', '1/12/21'],
    'j': [0,0,0,0,0],
    'k': [0,0,0,0,0]
})

# 调用函数输出结果
dfAB = merge_without_future_leak(dfA, dfB)
print(dfAB)

输出结果和你给出的期望完全一致。如果dfB中存在早于dfA最早日期的记录，匹配到的dfA列值会返回NaN，你可以根据业务需要自行选择填充或删除对应行。

内容的提问来源于stack exchange，提问作者Jason T