如何在Python中去除信号中的恒定段（含噪声阈值判断）

核心逻辑思路 #

• 先计算信号的局部波动：通过相邻元素的差值绝对值，判断每个位置的波动是否在设定阈值内
• 识别长片段恒定区域：用游程编码（RLE）统计连续满足波动阈值的片段长度，当连续长度达到200时，标记为需要移除的恒定段
• 过滤保留有效信号：根据标记结果，只保留非恒定段的信号数据

Python代码实现（基于Numpy） #

import numpy as np

# 1. 加载数据
data = np.load('your_sample_data.npy')

# 2. 定义参数（可根据实际需求调整）
threshold = 0.05  # 微小噪声的允许阈值
min_constant_length = 200  # 判定为恒定段的最小连续长度

# 3. 计算相邻元素的差值绝对值，判断波动是否在阈值内
diff = np.abs(np.diff(data))
is_low_fluct = diff <= threshold

# 4. 用游程编码找出连续的低波动片段
# 获取波动状态变化的索引点
change_points = np.concatenate([[0], np.where(np.diff(is_low_fluct) != 0)[0] + 1, [len(is_low_fluct)]])
# 计算每个片段的起始、结束索引和长度
segments = []
for i in range(len(change_points)-1):
    start = change_points[i]
    end = change_points[i+1]
    length = end - start
    is_constant = is_low_fluct[start]
    segments.append((start, end, length, is_constant))

# 5. 标记需要保留的信号索引
keep_mask = np.ones(len(data), dtype=bool)
for start, end, length, is_constant in segments:
    if is_constant and length >= min_constant_length - 1:
        # 注意：diff的长度比原数据少1，所以原数据的恒定段范围是[start, end]（闭区间）
        keep_mask[start:end+1] = False

# 6. 过滤得到压缩后的信号
compressed_data = data[keep_mask]

关键细节说明 #

• 阈值调整：threshold需要根据你的噪声水平设定，建议先查看数据的波动分布（比如用np.std(diff)做参考）
• 边界处理：代码自动处理信号开头、中间、结尾的恒定段，无需额外判断
• 性能优化：基于Numpy的向量运算和游程编码，处理大规模.npy数据效率很高

内容的提问来源于stack exchange，提问作者asteroid