如何用Python/Pandas滑动IQR检测数据异常值？附实现问题求助

核心问题排查 #

1. 滚动窗口参数无效 #

你的代码中window="h"是不合法的时间偏移量，Pandas要求时间窗口必须包含数值+单位（比如"1h"表示1小时、"24h"表示24小时）。如果你的DataFrame索引是DatetimeIndex，这个参数会被解析失败；如果不是DatetimeIndex，会直接触发错误或被错误解析为无效窗口大小，导致滚动标准差接近0，上下界几乎与均值重合，若数据存在上升趋势，就会出现上下界整体处于数据上方的情况。

2. 未处理数据固有趋势 #

TEC（总电子含量）数据通常存在明显的日周期或长期趋势，直接用滚动均值作为基准线会让上下界跟着趋势移动，无法有效区分正常趋势和异常波动。参考论文中的图大概率是先去除了趋势（比如用滚动中位数做基准），再针对残差计算异常范围。

3. 窗口大小不匹配数据特性 #

如果窗口过小，滚动标准差会被正常波动稀释，导致上下界范围过窄；如果窗口过大，会平滑掉短期异常信号，都无法得到符合预期的异常检测边界。

修复方案 #

第一步：修正窗口参数并验证索引 #

首先确保你的DataFrame索引是DatetimeIndex，并使用合法的时间窗口：

import pandas as pd

def gen_features(df):
    # 强制验证并转换时间索引
    if not isinstance(df.index, pd.DatetimeIndex):
        df.index = pd.to_datetime(df.index)
    
    # 根据数据分辨率选择窗口，比如24小时（适配TEC日周期特性）
    window = "24h"
    # 添加min_periods确保边缘数据也能计算统计量
    df["ma"] = df.TEC.rolling(window=window, min_periods=1).mean()
    df["mstd"] = df.TEC.rolling(window=window, min_periods=1).std()
    df["upper"] = df["ma"] + 1.6 * df["mstd"]
    df["lower"] = df["ma"] - 1.6 * df["mstd"]
    
    return df

第二步：加入去趋势优化（更贴合论文效果） #

用滚动中位数替代均值作为趋势基准，鲁棒性更强（不受异常值干扰），再针对残差计算异常边界：

def gen_features_with_detrend(df):
    if not isinstance(df.index, pd.DatetimeIndex):
        df.index = pd.to_datetime(df.index)
    
    window = "24h"
    # 滚动中位数作为趋势基准，抗异常值能力更强
    df["trend"] = df.TEC.rolling(window=window, min_periods=1).median()
    # 计算数据与趋势的残差
    df["residual"] = df.TEC - df["trend"]
    # 对残差计算滚动标准差
    df["res_std"] = df.residual.rolling(window=window, min_periods=1).std()
    # 基于趋势和残差标准差生成上下界
    df["upper"] = df["trend"] + 1.6 * df["res_std"]
    df["lower"] = df["trend"] - 1.6 * df["res_std"]
    
    return df

额外排查步骤 #

1. 检查滚动统计量：打印df[["ma", "mstd", "upper", "lower"]].head(30)，确认mstd是否有合理的数值（不是接近0或异常大）
2. 调整窗口大小：如果数据是分钟级，尝试"6h"或"12h"；如果是小时级，尝试"48h"，观察边界效果
3. 可视化原始数据：先绘制df.TEC，确认是否存在明显的长期趋势，必要时可先做差分处理（df["TEC_diff"] = df.TEC.diff()）再进行异常检测

内容的提问来源于stack exchange，提问作者Imtiaz Nabi