如何基于最近非NA有效值比较差异，替换数据中的异常观测值？

需求概述 #

需要将Temperature列中与最近的非NA有效值差异超过0.3的极端观测值替换为NA，而非仅与紧邻的上一个值比较。原代码因仅对比紧邻值，导致连续NA后的异常值（如2021-06-04的-82.9）未被处理。

示例数据集 #

Date <- c("2021-05-27", "2021-05-28", "2021-05-29", "2021-05-30", "2021-05-31", "2021-06-01", "2021-06-02", "2021-06-03", "2021-06-04", "2021-06-05", "2021-06-06", "2021-06-07")
Temperature <- c(9.974, 9.851, 11.13, 10.31, 10.122, 10.133, -75.43, -83.00, -82.9, 10.1, 10.233, 10.411)

df <- data.frame(Date, Temperature)

原代码局限性 #

原代码仅计算与紧邻上一个值的差异，当连续出现NA后，后续异常值无法关联到更早的有效值：

absDiffToPrevious <- c(0,abs(diff(df$Temperature)))
aboveThresh <- absDiffToPrevious > 0.3

df$Temperature[aboveThresh] <- NA

解决方案1：Base R 原生实现 #

核心逻辑：逐个遍历值，始终与最近保留的有效值对比，超过阈值则设为NA，否则更新最近有效值。

# 初始化结果向量
temp_clean <- df$Temperature
# 获取第一个有效值作为初始参考
last_valid <- temp_clean[!is.na(temp_clean)][1]

for (i in 2:length(temp_clean)) {
  current_val <- temp_clean[i]
  if (!is.na(current_val)) {
    # 对比当前值与最近有效值
    if (abs(current_val - last_valid) > 0.3) {
      temp_clean[i] <- NA
    } else {
      # 更新最近有效值为当前值
      last_valid <- current_val
    }
  }
  # 当前值为NA时，不更新参考值
}

# 将处理后的数据赋值回原数据框
df$Temperature_clean <- temp_clean

处理后结果 #

解决方案2：Tidyverse + Zoo 实现 #

适合习惯tidyverse语法的用户，利用zoo::na.locf()向前填充最近的非NA有效值，再进行差异判断。

步骤1：安装并加载依赖包 #

install.packages(c("tidyverse", "zoo"))
library(tidyverse)
library(zoo)

步骤2：数据处理 #

df_clean <- df %>%
  # 标记初始异常值（与紧邻上一个值差异超0.3）
  mutate(
    abs_diff = abs(Temperature - lag(Temperature)),
    is_outlier = abs_diff > 0.3
  ) %>%
  # 将初始异常值设为NA（保留第一个值）
  mutate(Temperature = ifelse(is_outlier & row_number() != 1, NA, Temperature)) %>%
  # 向前填充最近的非NA有效值
  mutate(last_valid = na.locf(Temperature, na.rm = FALSE)) %>%
  # 再次判断当前值与最近有效值的差异，超阈值则设为NA
  mutate(
    Temperature_clean = ifelse(
      abs(Temperature - last_valid) > 0.3 & !is.na(Temperature),
      NA,
      Temperature
    )
  ) %>%
  # 清理临时辅助列
  select(-abs_diff, -is_outlier, -last_valid)

该方法得到的结果与Base R方案完全一致。

内容的提问来源于stack exchange，提问作者Nick