使用smoothness priors方法信号去趋势时末尾元素异常问题咨询

问题产生原因 #

1. 核心问题为边界约束缺失：平滑先验去趋势的核心逻辑是通过二阶差分矩阵$D_2$惩罚趋势项的平滑度，而$D_2$的维度为$(N-2) \times N$，仅能覆盖信号前$N-2$个采样点的二阶差分约束，末尾两个采样点没有被纳入正则约束范围。优化过程中这两个位置的趋势项会被直接拟合为原始信号值，最终导致去趋势结果末尾为0或出现异常陡变，和你观察到的趋势项末尾与原始信号完全一致的现象完全吻合。
2. 额外数值稳定性问题：现有实现直接对稠密矩阵求逆（np.linalg.inv），计算效率低的同时还会放大数值误差，进一步加剧边界异常的程度。

修复方案 #

优先选择改动最小、效果稳定的边界镜像填充方案，具体实现如下：

import numpy as np
import scipy as sp

def signal_detrend_smoothness_priors(signal, regularization=500, pad_len=15):
    # 首尾镜像填充，解决边界无约束问题
    pad_left = signal[:pad_len][::-1]
    pad_right = signal[-pad_len:][::-1]
    padded_signal = np.concatenate([pad_left, signal, pad_right])
    N = len(padded_signal)
    
    identity = sp.sparse.eye(N)
    B = np.dot(np.ones((N - 2, 1)), np.array([[1, -2, 1]]))
    D_2 = sp.sparse.dia_matrix((B.T, [0, 1, 2]), shape=(N - 2, N))
    # 改用稀疏矩阵求解，避免稠密求逆的数值问题，计算效率提升显著
    inv = sp.sparse.linalg.spsolve(identity + regularization ** 2 * D_2.T @ D_2, padded_signal)
    trend = padded_signal - inv
    
    # 裁剪掉填充部分得到最终去趋势结果
    detrended = signal - trend[pad_len:-pad_len]
    return detrended

上述代码中填充长度pad_len建议设置为10~20即可，足够覆盖边界影响范围。如果场景不允许对信号做填充，可以手动扩展二阶差分矩阵，给首尾点添加一阶差分约束，让正则项覆盖全部采样点即可。

内容的提问来源于stack exchange，提问作者pjercic