无阈值异常检测方法：基于autoencoder的时序漏检优化咨询

核心问题锚定：基于自编码器+全局固定阈值的时序异常检测流程，仅能识别重构误差显著高于全局阈值的高偏离异常，对重构误差落在阈值以下的局部结构异常、缓慢漂移异常、同幅值相位偏移类异常存在系统性漏判，以下为可直接落地的改进方向。

一、阈值以下异常的定向捕捉方案 #

1. 用滑动窗口动态阈值替换全局固定阈值 #

• 放弃“基于全量训练集重构误差固定分位数设定全局触发线”的传统逻辑，改用局部滑动窗口动态相对阈值：每完成一个窗口的样本推理，基于近N个连续样本的重构误差分布，计算当次判定的触发阈值，而非用跨时间的全局固定值做对比
• 核心实现伪代码：

from collections import deque
import numpy as np

# 配置：滑动窗口大小、分位触发线
WINDOW_SIZE = 100
QUANTILE_THRESHOLD = 0.98
window_error_buffer = deque(maxlen=WINDOW_SIZE)
current_threshold = None

for rec_error in real_time_inference_stream:
    window_error_buffer.append(rec_error)
    # 窗口满额后计算动态阈值
    if len(window_error_buffer) == WINDOW_SIZE:
        current_threshold = np.quantile(window_error_buffer, QUANTILE_THRESHOLD)
    # 当次判定
    if current_threshold is not None and rec_error > current_threshold:
        mark_sample_as_anomaly()

• 适配场景：重构误差无长期整体漂移、但短时间内会出现局部小幅偏离的异常。这类异常的绝对重构误差可能远低于全局静态阈值，但在局部时间窗口内属于显著偏离值，可被动态阈值有效捕捉。

2. 多维度异常得分融合，替代单一残差判定 #

• 现有流程仅用“逐点时序值的MSE重构误差”作为异常判定依据，对结构类异常的敏感度极低：例如正常时序为“平稳上升+小幅正向波动”，异常为“斜率完全一致但波动相位反转”，这类异常的逐点MSE极低，远低于判定阈值，但属于明确的业务异常
• 原有逐点MSE基础上，叠加三类低残差场景下的高敏感特征：
  • 相邻采样点重构残差的二阶差分（捕捉相位偏移类异常）
  • 目标时序片段与重构片段的功率谱密度匹配度（捕捉频谱结构偏离但幅值不变的异常）
  • 时序片段与重构片段的皮尔逊相关系数（捕捉整体幅值接近但结构错位的异常）
• 将上述特征按业务场景权重加权融合为综合异常得分，再匹配对应阈值，即可将原本残差低但结构异常的样本纳入可判定范围。

3. 阈值邻域样本的二次筛查机制 #

• 针对人工复核确认的、原本被漏判且重构误差在阈值以下的异常样本，不要直接上调全局阈值（会大幅推高误报率），而是单独训练一个轻量判别头，专门对落在阈值置信邻域内的样本做二次筛查：
  • 第一级：依靠原有自编码器+全局阈值，快速筛除明确的正常样本、高异常样本
  • 第二级：对“重构误差落在阈值上下浮动10%区间”的模糊样本，送入由历史漏判样本训练的轻量分类器做二次判定，无需修改原有阈值逻辑即可捕捉阈值边缘的漏判异常。

二、全流程检出率优化方案 #

1. 阈值的长期自适应修正 #

• 放弃“一次性设定固定阈值上线”的流程，上线后持续跟踪已判定为正常的样本重构误差分布，按周期更新阈值对应的分位值，避免因长期时序分布漂移导致的阈值失配（例如系统长期运行后整体重构误差基线下降，原固定阈值会完全失去判定作用）
• 建立误报反馈的阈值校准通道：将人工标注的误报样本对应的重构误差值，从阈值计算的样本池中剔除，避免被异常值拉高分位数、导致阈值过松。

2. 多时间尺度自编码器协同判定 #

• 单独训练2个不同输入窗口长度的自编码器：
  • 短窗口模型（窗口大小10~20个采样点）：负责捕捉局部即时的小幅异常
  • 长窗口模型（窗口大小100~200个采样点）：负责捕捉长周期的趋势类漂移异常
• 协同判定规则：仅当两个模型同时判定为正常的样本才标记为正常，任意一个模型触发异常判定即标记为可疑。该机制可覆盖单尺度模型无法捕捉的长周期低幅值漂移异常——这类异常的短窗口残差极低，无法触发短窗口阈值，但会在长窗口的重构误差中体现出显著偏离。

内容的提问来源于stack exchange，提问作者M_K