如何将多列时间序列异常检测结果写入结构匹配的Pandas DataFrame
离群检测结果落盘为同结构DataFrame的实现方案
核心调整点
你当前的代码逻辑已经完成了离群值计算和可视化,缺少两个关键环节:
- 离群检测函数没有把计算得到的离群标记向外返回,循环调用时无法拿到结果
- 没有提前搭建目标结果的表结构,导致各列的检测结果没有统一的存放位置
具体实现代码
1. 调整离群检测函数
保留原有模型拟合、可视化的全部逻辑,仅在函数末尾增加布尔类型离群标记的返回:
import matplotlib.pyplot as plt import pandas as pd from sklearn import preprocessing, svm def find_outliers(ts, perc=0.01, figsize=(15,5)): # 拟合OneClassSVM离群检测模型 scaler = preprocessing.StandardScaler() ts_scaled = scaler.fit_transform(ts.values.reshape(-1, 1)) model = svm.OneClassSVM(nu=perc, kernel="rbf", gamma=0.01) model.fit(ts_scaled) # 生成离群标记 df_outliers = ts.to_frame(name="ts") df_outliers["index"] = ts.index df_outliers["outlier"] = model.predict(ts_scaled) df_outliers["outlier"] = df_outliers["outlier"].apply(lambda x: 1 if x == -1 else 0) # 保留原有可视化逻辑 fig, ax = plt.subplots(figsize=figsize) ax.set(title="Outliers detection: found " + str(sum(df_outliers["outlier"] == 1))) ax.plot(df_outliers["index"], df_outliers["ts"], color="black") ax.scatter( x=df_outliers[df_outliers["outlier"] == 1]["index"], y=df_outliers[df_outliers["outlier"] == 1]['ts'], color='red' ) ax.grid(True) plt.show() # 新增:返回布尔类型的离群判断结果 return df_outliers["outlier"].astype(bool)
2. 逐列填充检测结果,生成最终DataFrame
先从原表中拷贝需要保留的非数值列(Datetime、CompanyID)作为结果表的基础结构,再把每列的离群检测结果对应填入同名列:
# 初始化结果表,保留原有的基础列 outlier_result = df[["Datetime", "CompanyID"]].copy() # 遍历所有需要检测的数值列(列名从"1"到"n"的列) for col in df.columns[2:]: # 获取当前列的离群布尔标记 outlier_mask = find_outliers(df[col]) # 按行顺序将结果填入结果表,避免索引错位 outlier_result[col] = outlier_mask.values
最终效果
生成的outlier_result表和输入df的结构完全对齐:
Datetime、CompanyID列内容与原数据完全一致- 原"1"、"2"…"n"的列位置,全部替换为对应时间序列的离群判断布尔值:
True代表该时间点被判定为离群点,False代表为正常点。
注意:原示例代码中Datetime列的内容缺少引号,实际运行时需要先将该列转换为pandas支持的datetime类型,避免类型报错。
内容的提问来源于stack exchange,提问作者torkestativ
相关产品推荐
相关产品推荐

