如何高效获取Pandas DataFrame中满足指定时间间隔的最新元素

给定已按time列排序的大型Pandas DataFrame，需新增latest_value列，其值对应满足time ≤ 当前行time - δt的最大时间所对应的value。滚动窗口方案因效率问题不适用，推荐使用**pandas.merge_asof**实现高效匹配，该方法专为有序数据的近似匹配设计，时间复杂度为O(n)，适合处理大数据集。

核心思路 #

1. 构造辅助DataFrame：将原DataFrame的time列加上δt，作为匹配的基准键，同时保留原value值。
2. 调用merge_asof：以原DataFrame的time列和辅助DataFrame的新time列作为匹配键，通过direction='backward'参数，找到每个行对应的最大满足条件的记录，匹配其value作为latest_value。

代码示例 #

import pandas as pd

# 示例数据（已按time排序）
df = pd.DataFrame({
    'time': [5, 8, 12, 15, 20, 25],
    'value': [10, 20, 30, 40, 50, 60]
})
delta_t = 10

# 构造辅助匹配DF：time = 原time + delta_t
df_match = df.copy()
df_match['time'] += delta_t

# 执行近似匹配
result = pd.merge_asof(
    df, 
    df_match, 
    on='time', 
    direction='backward', 
    suffixes=('', '_latest')
)

# 整理列名
result = result.rename(columns={'value_latest': 'latest_value'})
print(result)

输出结果 #

关键说明 #

• merge_asof要求参与匹配的两个DataFrame必须按on指定的列排序，原数据已满足该条件，无需额外排序。
• direction='backward'确保为每个行找到最大的不超过当前time的辅助DF记录，正好对应原time ≤ 当前行time - δt的条件（等价于原time + δt ≤ 当前行time）。
• 若存在无匹配的行（如示例中前两行），latest_value会显示为NaN，可根据业务需求用result['latest_value'].fillna(...)填充默认值。

内容的提问来源于stack exchange，提问作者Vladimir Krouglov