You need to enable JavaScript to run this app. 如何将多列时间序列异常检测结果写入结构匹配的Pandas DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

如何将多列时间序列异常检测结果写入结构匹配的Pandas DataFrame

离群检测结果落盘为同结构DataFrame的实现方案

核心调整点

你当前的代码逻辑已经完成了离群值计算和可视化,缺少两个关键环节:

  1. 离群检测函数没有把计算得到的离群标记向外返回,循环调用时无法拿到结果
  2. 没有提前搭建目标结果的表结构,导致各列的检测结果没有统一的存放位置

具体实现代码

1. 调整离群检测函数

保留原有模型拟合、可视化的全部逻辑,仅在函数末尾增加布尔类型离群标记的返回:

import matplotlib.pyplot as plt
import pandas as pd
from sklearn import preprocessing, svm

def find_outliers(ts, perc=0.01, figsize=(15,5)):
    # 拟合OneClassSVM离群检测模型
    scaler = preprocessing.StandardScaler()
    ts_scaled = scaler.fit_transform(ts.values.reshape(-1, 1))
    model = svm.OneClassSVM(nu=perc, kernel="rbf", gamma=0.01)
    model.fit(ts_scaled)
    
    # 生成离群标记
    df_outliers = ts.to_frame(name="ts")
    df_outliers["index"] = ts.index
    df_outliers["outlier"] = model.predict(ts_scaled)
    df_outliers["outlier"] = df_outliers["outlier"].apply(lambda x: 1 if x == -1 else 0)

    # 保留原有可视化逻辑
    fig, ax = plt.subplots(figsize=figsize)
    ax.set(title="Outliers detection: found " + str(sum(df_outliers["outlier"] == 1)))
    ax.plot(df_outliers["index"], df_outliers["ts"], color="black")
    ax.scatter(
        x=df_outliers[df_outliers["outlier"] == 1]["index"],
        y=df_outliers[df_outliers["outlier"] == 1]['ts'],
        color='red'
    )
    ax.grid(True)
    plt.show()
    
    # 新增:返回布尔类型的离群判断结果
    return df_outliers["outlier"].astype(bool)

2. 逐列填充检测结果,生成最终DataFrame

先从原表中拷贝需要保留的非数值列(Datetime、CompanyID)作为结果表的基础结构,再把每列的离群检测结果对应填入同名列:

# 初始化结果表,保留原有的基础列
outlier_result = df[["Datetime", "CompanyID"]].copy()

# 遍历所有需要检测的数值列(列名从"1"到"n"的列)
for col in df.columns[2:]:
    # 获取当前列的离群布尔标记
    outlier_mask = find_outliers(df[col])
    # 按行顺序将结果填入结果表,避免索引错位
    outlier_result[col] = outlier_mask.values

最终效果

生成的outlier_result表和输入df的结构完全对齐:

  • Datetime、CompanyID列内容与原数据完全一致
  • 原"1"、"2"…"n"的列位置,全部替换为对应时间序列的离群判断布尔值:True代表该时间点被判定为离群点,False代表为正常点。

注意:原示例代码中Datetime列的内容缺少引号,实际运行时需要先将该列转换为pandas支持的datetime类型,避免类型报错。


内容的提问来源于stack exchange,提问作者torkestativ

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 13:54:04