传感器故障型时序数据异常值检测与修正的优化方案咨询

你遇到的是典型的孤立单点突变异常——光伏发电量突然掉到0或者异常偏高，而前后数据均正常。之前尝试的三种方法之所以效果不佳，核心原因是没针对性匹配你的场景特性，先帮你拆解下现有方法的问题：

现有方法的局限性分析 #

• Try1（IQR）：按天分组计算全局分位数，但光伏发电的日数据是双峰分布（白天高发电量、晚上接近0），全局IQR会把晚上正常的0误判为异常，反而可能忽略白天的单点突变（因为突变点未必超出全局分位数范围）。
• Try2（KDE滚动）：窗口3的Parzen核求和逻辑模糊，阈值n*a的设定完全主观，对单点突变的捕捉灵敏度不足，容易出现漏判或误判。
• Try3（中值滤波）：窗口5的平滑逻辑会“抹平”正常的小波动，它用窗口统计值替换所有不符合规则的点，而非只针对孤立故障点，直接牺牲了正常数据的准确性。

更优的针对性解决方案 #

你的场景核心是故障点为孤立存在，前后数据均正常，同时光伏发电有明确的领域规律（白天有发电量、晚上接近0），因此我们可以结合相邻点突变检测+领域规则精准识别异常，并用前后正常值的均值修正，完全不破坏正常数据。

具体实现代码 #

import pandas as pd
import numpy as np

def detect_and_fix_solar_outliers(df, spike_threshold=2.0, day_range=(6, 18)):
    """
    检测并修正光伏发电量的孤立突变异常：
    - 白天时段的骤降为0（前后均有正常发电量）
    - 异常偏高的单点（远大于前后正常均值）
    参数：
        df: 带DatetimeIndex的时序DataFrame，包含'yield'列（发电量，单位：瓦）
        spike_threshold: 异常偏高的阈值，当前点超过前后均值的倍数（默认2倍）
        day_range: 白天时段的小时范围（默认6点到18点）
    返回：
        corrected_df: 修正后的DataFrame
        outlier_mask: 异常点的布尔掩码
    """
    corrected_df = df.copy()
    yield_col = 'yield'
    
    # 获取前后时刻的发电量
    prev_val = corrected_df[yield_col].shift(1)
    next_val = corrected_df[yield_col].shift(-1)
    
    # 1. 检测白天的骤降为0异常：白天时段+当前为0+前后均有有效发电量
    is_daytime = (corrected_df.index.hour >= day_range[0]) & (corrected_df.index.hour < day_range[1])
    sudden_zero = is_daytime & (corrected_df[yield_col] == 0) & (prev_val > 10) & (next_val > 10)  # 10瓦用于忽略微小波动
    
    # 2. 检测异常偏高的单点：当前点远大于前后均值，且前后值处于正常范围
    neighbor_mean = (prev_val + next_val) / 2
    sudden_spike = (corrected_df[yield_col] > neighbor_mean * spike_threshold) & \
                   (prev_val <= neighbor_mean * 1.2) & (next_val <= neighbor_mean * 1.2)
    
    # 合并所有异常点掩码
    outlier_mask = sudden_zero | sudden_spike
    
    # 用前后正常值的均值修正异常点
    corrected_df.loc[outlier_mask, yield_col] = neighbor_mean[outlier_mask]
    
    # 处理边界点异常（第一个/最后一个点）：用相邻的正常点填充
    if outlier_mask.iloc[0]:
        corrected_df.iloc[0, corrected_df.columns.get_loc(yield_col)] = corrected_df.iloc[1][yield_col]
    if outlier_mask.iloc[-1]:
        corrected_df.iloc[-1, corrected_df.columns.get_loc(yield_col)] = corrected_df.iloc[-2][yield_col]
    
    return corrected_df, outlier_mask

方案核心优势 #

1. 精准识别异常：完全匹配你描述的“故障前后数值正常”场景，只针对孤立突变点，不会误判晚上的正常0值，也不会漏判白天的单点故障。
2. 保留正常数据真实性：仅异常点会被替换为前后均值，正常数据完全保留原始测量值，避免了中值滤波带来的平滑失真。
3. 灵活适配场景：spike_threshold和sudden_zero中的10瓦阈值可根据你的设备参数（如逆变器额定功率、最小发电量）调整，适配不同场景需求。

额外优化建议 #

• 如果你的设备有额定功率上限，可添加规则：corrected_df[yield_col] > rated_power直接标记为异常，进一步提升检测准确性。
• 可对修正结果做二次校验：若修正后的点仍不符合相邻趋势，可用过去7天同一小时的均值替换，增强极端场景下的鲁棒性。

内容的提问来源于stack exchange，提问作者casaout