移除数据异常值并保留原始趋势的技术咨询

我的绘图中存在若干噪声点，尝试使用scipy.signal.savgol_filter处理后，原始曲线趋势发生了改变，希望移除噪声点同时贴合原有曲线。

1. 优化Savitzky-Golay滤波参数 #

savgol_filter的趋势偏移通常是窗口大小或多项式阶数设置不当导致的：

• 窗口大小：必须是奇数，且要小于噪声点之间的间隔，避免过度平滑抹掉原有趋势。如果噪声是孤立点，窗口设为3、5这类小值即可。
• 多项式阶数：阶数越高越贴合原始数据，但阶数过高会放大噪声。一般选1（线性）或2（二次），如果原有曲线是非线性的，再适当提高阶数。
  示例代码：

from scipy.signal import savgol_filter
import numpy as np

# 假设y是你的数据
y_filtered = savgol_filter(y, window_length=5, polyorder=2)

2. 先去除异常值再滤波 #

如果噪声是明显的离群点，先做异常值剔除再滤波，效果会更好：

• 3σ原则：计算数据的均值和标准差，剔除超出均值±3*标准差的点
• 中位数绝对偏差(MAD)：比3σ更稳健，适合非正态分布的数据
  示例代码（MAD方法）：

def remove_outliers(data, threshold=3.5):
    median = np.median(data)
    mad = np.median(np.abs(data - median))
    if mad == 0:
        return data
    z_scores = 0.6745 * (data - median) / mad
    return data[np.abs(z_scores) < threshold]

# 先去除异常值，再滤波
y_clean = remove_outliers(y)
y_filtered = savgol_filter(y_clean, window_length=5, polyorder=2)

3. 替换为稳健滤波方法 #

如果savgol不适用，试试对异常点更稳健的滤波：

• 中位数滤波：用窗口内的中位数替代当前值，完全不受极端噪声影响
• 双边滤波：同时考虑空间距离和数值相似度，适合保留曲线特征的平滑
  示例代码（中位数滤波）：

from scipy.ndimage import median_filter

y_filtered = median_filter(y, size=3)

内容的提问来源于stack exchange，提问作者Harvey Xie