You need to enable JavaScript to run this app. Python半小时间隔DataFrame±15天滑动窗口函数实现及apply中shift失效问题
优惠活动
大模型
产品
解决方案
定价
更多

Python半小时间隔DataFrame±15天滑动窗口函数实现及apply中shift失效问题

问题根源梳理
  • 逐行apply的逻辑天然不支持邻域计算:df.apply(xxx, axis=1)每次传入函数的是单行的Series对象,没有全局DataFrame的时间序列上下文,自然无法正常触发shift、窗口遍历这类需要访问跨行数据的操作。
  • 原有时段判断存在逻辑bug:跨零点的22:00-02:30区间直接用字符串比较时永远不会被命中,因为字符串逐位比较的规则下,"02:30:00"的字典序远小于"22:00:00",两个条件用and连接时不可能同时满足。
  • 滑动窗口的实现方向错配:跨行的邻域计算不应该嵌入逐行处理的逻辑,应该依托pandas内置的时间滚动窗口能力实现,能大幅降低代码复杂度。
具体实现方案

前置准备

  • 把时间字段转换为可计算的datetime类型:将原有的日期列、TIME列拼接为完整的时间戳,按时间排序后设置为DataFrame的索引,为时间窗口计算打基础。
  • 用数值形式替代字符串做时段判断:将TIME转换为带小数的小时值(比如10:30对应10.5),正确圈定两个目标时段:

    10:00-14:30区间:小时值满足10.0 ≤ 数值 ≤14.5
    22:00-次日02:30区间:小时值满足数值 ≥22.0 或 数值 ≤2.5

  • DOY字段的作用:可以快速预筛选和当前记录年积日差在±15天内的样本,减少窗口计算时的遍历范围,不需要依赖DOY做核心的偏移计算,只要时间戳是准确的datetime类型,滚动窗口会自动计算实际时间差。

核心窗口计算逻辑

  • 采用pandas的时间型滚动窗口替代手动遍历:设置窗口大小为31天(刚好覆盖当前节点前后各15天的范围),开启center=True参数让窗口以当前时间节点为中心,避免默认窗口只取历史数据的问题。
  • 在窗口的聚合函数内部实现筛选和计算:传入每个窗口的子DataFrame,先筛选出窗口内落在两个目标时段的半小时数据,再应用你原本的yield计算逻辑,最后把结果匹配回对应的时间节点。

参考代码片段

import pandas as pd

# 数据预处理
df['full_datetime'] = pd.to_datetime(df['日期列'] + ' ' + df['TIME'])
df = df.sort_values('full_datetime').set_index('full_datetime')

# 生成小数小时值,做时段判断
df['hour_val'] = df.index.hour + df.index.minute / 60
df['in_target_period'] = (
    ((df['hour_val'] >= 10) & (df['hour_val'] <= 14.5)) |
    ((df['hour_val'] >= 22) | (df['hour_val'] <= 2.5))
)

# 定义窗口内的计算逻辑
def window_calc(window_df):
    period_data = window_df[window_df['in_target_period']]
    # 无符合条件数据时返回默认值1
    if period_data.empty:
        return 1
    return 0.85 * period_data['A'] / (period_data['B'] + period_data['C'])

# 31天中心滚动窗口,覆盖±15天范围
df['output'] = df.rolling(window='31D', center=True).apply(
    window_calc,
    raw=False
)
常见踩坑提醒
  • 窗口设置优先用时间差(如31D)而非固定行数:因为数据集是半小时步长,一旦存在数据缺失,固定行数的窗口会实际覆盖不到±15天的时间范围,出现计算偏移。
  • 跨年边界的窗口处理:如果数据集覆盖跨年的场景,DOY的计算要做跨年偏移校验,避免1月1日的窗口错误算成上一年12月的年积日范围。
  • 不要在逐行apply的函数里强行嵌套邻域查询:这种写法效率极低,还容易出现索引错乱的问题,所有跨行的计算都要放在窗口的聚合函数内部实现。

内容的提问来源于stack exchange,提问作者Wis786

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 07:06:00