Python半小时间隔DataFrame±15天滑动窗口函数实现及apply中shift失效问题
问题根源梳理
- 逐行apply的逻辑天然不支持邻域计算:
df.apply(xxx, axis=1)每次传入函数的是单行的Series对象,没有全局DataFrame的时间序列上下文,自然无法正常触发shift、窗口遍历这类需要访问跨行数据的操作。 - 原有时段判断存在逻辑bug:跨零点的22:00-02:30区间直接用字符串比较时永远不会被命中,因为字符串逐位比较的规则下,"02:30:00"的字典序远小于"22:00:00",两个条件用and连接时不可能同时满足。
- 滑动窗口的实现方向错配:跨行的邻域计算不应该嵌入逐行处理的逻辑,应该依托pandas内置的时间滚动窗口能力实现,能大幅降低代码复杂度。
具体实现方案
前置准备
- 把时间字段转换为可计算的datetime类型:将原有的日期列、TIME列拼接为完整的时间戳,按时间排序后设置为DataFrame的索引,为时间窗口计算打基础。
- 用数值形式替代字符串做时段判断:将TIME转换为带小数的小时值(比如10:30对应10.5),正确圈定两个目标时段:
10:00-14:30区间:小时值满足
10.0 ≤ 数值 ≤14.5
22:00-次日02:30区间:小时值满足数值 ≥22.0 或 数值 ≤2.5 - DOY字段的作用:可以快速预筛选和当前记录年积日差在±15天内的样本,减少窗口计算时的遍历范围,不需要依赖DOY做核心的偏移计算,只要时间戳是准确的datetime类型,滚动窗口会自动计算实际时间差。
核心窗口计算逻辑
- 采用pandas的时间型滚动窗口替代手动遍历:设置窗口大小为31天(刚好覆盖当前节点前后各15天的范围),开启
center=True参数让窗口以当前时间节点为中心,避免默认窗口只取历史数据的问题。 - 在窗口的聚合函数内部实现筛选和计算:传入每个窗口的子DataFrame,先筛选出窗口内落在两个目标时段的半小时数据,再应用你原本的yield计算逻辑,最后把结果匹配回对应的时间节点。
参考代码片段
import pandas as pd # 数据预处理 df['full_datetime'] = pd.to_datetime(df['日期列'] + ' ' + df['TIME']) df = df.sort_values('full_datetime').set_index('full_datetime') # 生成小数小时值,做时段判断 df['hour_val'] = df.index.hour + df.index.minute / 60 df['in_target_period'] = ( ((df['hour_val'] >= 10) & (df['hour_val'] <= 14.5)) | ((df['hour_val'] >= 22) | (df['hour_val'] <= 2.5)) ) # 定义窗口内的计算逻辑 def window_calc(window_df): period_data = window_df[window_df['in_target_period']] # 无符合条件数据时返回默认值1 if period_data.empty: return 1 return 0.85 * period_data['A'] / (period_data['B'] + period_data['C']) # 31天中心滚动窗口,覆盖±15天范围 df['output'] = df.rolling(window='31D', center=True).apply( window_calc, raw=False )
常见踩坑提醒
- 窗口设置优先用时间差(如
31D)而非固定行数:因为数据集是半小时步长,一旦存在数据缺失,固定行数的窗口会实际覆盖不到±15天的时间范围,出现计算偏移。 - 跨年边界的窗口处理:如果数据集覆盖跨年的场景,DOY的计算要做跨年偏移校验,避免1月1日的窗口错误算成上一年12月的年积日范围。
- 不要在逐行apply的函数里强行嵌套邻域查询:这种写法效率极低,还容易出现索引错乱的问题,所有跨行的计算都要放在窗口的聚合函数内部实现。
内容的提问来源于stack exchange,提问作者Wis786
相关产品推荐
相关产品推荐

