如何实现Pandas DataFrame连续重采样且无历史值变更错误

• 核心原因是重采样时上一轮输出的最后一个区间尚未完成数据收集，后续新到的tick数据可能属于该区间，导致本轮全量重采样时该区间的统计值被修正。
• 你使用的closed='right'+label='right'参数下，每个时间标签对应区间为(上一个时间点, 当前时间点]。例如标签15:09:00对应30秒区间(15:08:30,15:09:00]，当你在15:09:00.014执行第一次重采样时，可能还存在部分时间戳属于该区间、但因传输延迟未入库的tick，后续这些tick入库后，下一次全量重采样就会修改该区间的统计值。
• 从你提供的15秒采样样例可验证：每个区间的数值会在区间结束后的下一次重采样时完成最终修正，之后不再变动。

方案1：增量更新模式（推荐） #

维护已经确认的历史重采样结果表，不再对全量数据重复重采样：

1. 先统计所用券商tick的最大延迟阈值，例如实测最大延迟为1秒，那么只要当前时间超过区间结束时间1秒，即可判定该区间所有tick已到齐，数值固定。
2. 每次新tick入库时，仅判断其所属区间：
   • 若区间已确认，直接忽略该tick对历史结果的影响
   • 若区间未确认，仅更新该区间的ohlc数值
3. 每次输出结果时，已确认的历史区间直接取存好的结果，仅最新的未确认区间实时计算。

方案2：全量重采样兼容模式 #

如果必须保留全量重采样的逻辑，可通过过滤逻辑规避非预期变动：

1. 每次全量重采样前，先过滤tick数据，仅保留时间戳 <= 当前时间 - 最大延迟阈值的tick，确保所有纳入计算的区间都已收齐全部数据，参考代码调整如下：

import pandas as pd
max_latency = pd.Timedelta(seconds=1) # 替换为你实测的最大延迟
# 过滤出已收齐全部tick的区间对应的数据
valid_ticks = ticks[ticks.index <= (pd.Timestamp.now() - max_latency)]
df = valid_ticks['price'].resample(interval, label='right', closed='right').ohlc().dropna()

# 可选：如果需要展示最新的未闭合区间临时值，追加到结果末尾
latest_interval_end = df.index[-1] + pd.Timedelta(interval)
latest_ticks = ticks[ticks.index > df.index[-1]]
if not latest_ticks.empty:
    latest_ohlc = latest_ticks['price'].agg(['open','high','low','close'])
    df.loc[latest_interval_end] = latest_ohlc

2. 追加的最新区间值标注为临时值即可，下一次重采样时会更新为最终值。

内容的提问来源于stack exchange，提问作者ANen