如何用diff()仅标记单个异常值而非后续值？（R语言）

参考Zahumenský (2004)《自动气象站数据质控流程指南》，可通过阶跃测试检测异常值：当测量值与前一时刻的差值超过设定阈值（如气温3K）时，标记可疑值。但常规差值检测会同时标记异常值及其后续的回正常值，以下是仅标记异常值本身的实现方案。

原始问题代码 #

set.seed(42)
ta <- rnorm(60, mean = 12, sd = 0.2) |> round(1)

# 插入测试用异常值
ta[15] <- 39
ta[45] <- -19

# 计算相邻时刻差值
ta_delta <- c(NA, diff(ta))

# 当前检测结果：同时标记了异常值和后续值
which(abs(ta_delta) > 3)
#> [1] 15 16 45 46

问题分析 #

diff(ta)计算的是ta[i] - ta[i-1]，因此：

• 第15位的异常值会导致ta_delta[15] = ta[15]-ta[14]（大幅正向跳变）
• 第16位的回正常值会导致ta_delta[16] = ta[16]-ta[15]（大幅反向跳变）
  这两个位置都会被阈值检测命中，但我们仅需要标记第15、45位的异常值。

解决方案：精准定位异常值 #

利用阶跃测试的特性——异常值会产生连续两个超过阈值的差值（跳变+回跳），只需取每对连续超阈值位置的第一个，即为异常值的索引：

set.seed(42)
ta <- rnorm(60, mean = 12, sd = 0.2) |> round(1)
ta[15] <- 39
ta[45] <- -19

ta_delta <- c(NA, diff(ta))

# 获取所有超阈值的差值位置
delta_exceed <- which(abs(ta_delta) > 3)
# 每两个连续位置取第一个，即为异常值所在索引
outlier_pos <- delta_exceed[seq(1, length(delta_exceed), by = 2)]
# 生成与ta等长的逻辑标记向量
is_outlier <- logical(length(ta))
is_outlier[outlier_pos] <- TRUE

# 验证结果：仅标记异常值位置
which(is_outlier)
#> [1] 15 45

备选方案：基于值的偏离判断 #

如果存在单个超阈值差值（无后续回跳）的情况，可通过判断当前值是否偏离前一值超过阈值，同时排除后续回跳的标记：

is_outlier <- logical(length(ta))
# 标记所有与前一值差值超阈值的位置
is_outlier[-1] <- abs(ta_delta[-1]) > 3
# 移除后续回跳的标记：如果当前位置被标记，且前一位置也被标记，则当前不是异常值
is_outlier[-1] <- is_outlier[-1] & !is_outlier[-length(is_outlier)]

which(is_outlier)
#> [1] 15 45

内容的提问来源于stack exchange，提问作者dimfalk