如何用多段插值值替换RR间隔异常值以维持总时长？

问题背景 #

分析一组总时长240秒的RR间隔数据集，数据为秒级分数值，存在频繁异常值。当前使用z-score检测+单值插值替换的方案，会导致总时长缩短（比如异常值8.154秒被单个插值替换，时长缺口明显），需要将异常值替换为总和等于原异常值时长的多段插值结果。

当前代码及数据示例：
原始数据片段：

[1.076,
 0.957,
 ...,
 8.154,  # 异常值
 ...,
 0.787]

当前异常值处理代码：

from scipy import stats
import pandas as pd
import numpy as np
    
df_rrs = pd.DataFrame(RRs, columns=['RRs'])
mask = (np.abs(stats.zscore(df_rrs['RRs'])) > 1)
df_rrs.RRs = df_rrs.RRs.mask(mask).interpolate()
df_rrs = df_rrs['RRs'].to_list()

最优实现方案 #

核心思路：基于插值基准值拆分异常值时长，保证多段总和与原异常值时长一致，同时每段值接近正常RR区间。

代码实现 #

from scipy import stats
import pandas as pd
import numpy as np

def replace_outliers_with_duration_matched_intervals(RRs, z_threshold=1):
    df_rrs = pd.DataFrame(RRs, columns=['RRs'])
    # 计算Z分数标记异常值
    z_scores = stats.zscore(df_rrs['RRs'])
    mask = np.abs(z_scores) > z_threshold
    
    # 生成插值基准值（用前后正常数据的线性插值）
    df_rrs['interp_base'] = df_rrs['RRs'].mask(mask).interpolate(method='linear')
    
    processed_data = []
    for idx in range(len(df_rrs)):
        if not mask.iloc[idx]:
            # 正常RR值直接加入结果
            processed_data.append(df_rrs['RRs'].iloc[idx])
        else:
            outlier_duration = df_rrs['RRs'].iloc[idx]
            base_rr = df_rrs['interp_base'].iloc[idx]
            
            # 计算拆分段数：按基准RR值拆分，取最接近的整数
            num_segments = int(np.round(outlier_duration / base_rr))
            # 避免极端情况（比如基准值极小导致段数过大，或为0）
            num_segments = max(num_segments, 1)
            
            # 计算每段时长，保证总和等于原异常值时长
            segment_length = outlier_duration / num_segments
            # 将num_segments个段加入结果列表
            processed_data.extend([segment_length] * num_segments)
    
    return processed_data

# 示例测试
sample_RRs = [1.076, 0.957, 8.154, 0.787]
processed_result = replace_outliers_with_duration_matched_intervals(sample_RRs)

print("处理后数据:", processed_result)
print("原总时长: {:.3f}秒".format(sum(sample_RRs)))
print("处理后总时长: {:.3f}秒".format(sum(processed_result)))

方案说明 #

1. 插值基准值生成：用线性插值得到异常位置的基准RR值，这个值是前后正常数据的平滑过渡，符合生理数据的连续性要求
2. 段数计算：通过异常值时长除以基准RR值得到拆分段数，保证每段时长接近正常RR区间的范围
3. 时长严格匹配：拆分后的每段时长=异常值时长/段数，总和与原异常值完全一致，不会出现总时长缺口
4. 灵活性：可根据需求调整插值方法（比如spline插值更平滑）、Z分数阈值（减少误判）

内容的提问来源于stack exchange，提问作者kappamachine