如何在R中自动识别并删除时序温度数据中的异常噪声值行

核心逻辑：你的场景属于时间序列的异常值检测，核心判断规则是短时间内温度波动幅度超过物理合理阈值，以下两种方案都可以自动处理数千行的测量数据，可直接复用：

第一步：数据预处理 #

首先将日期、时间列合并为完整的时间戳，保证数据按时间顺序排列：

# 需要先安装加载依赖包
# install.packages(c("dplyr", "lubridate", "zoo"))
library(dplyr)
library(lubridate)
library(zoo)

# 替换为你的原始数据框名，示例里为df
df <- df %>%
  # 合并为完整时间戳
  mutate(datetime = ymd_hms(paste(date, time))) %>%
  # 按时间升序排序
  arrange(datetime)

方案1：局部中位数波动过滤（适配你的场景，单条/连续异常都可识别） #

根据你提到的数秒内不会出现大幅波动的规则，通过滑动窗口计算局部温度中位数，和当前值对比判断是否异常：

# 可根据实际场景调整的参数
window_size <- 5 # 滑动窗口大小，取当前行前后共5条观测计算中位数
max_allowed_diff <- 3 # 允许的当前值和局部中位数的最大差值，单位℃

df_clean <- df %>%
  mutate(
    # 滑动计算局部中位数，首尾空值保留
    local_median = rollapply(temp, width = window_size, FUN = median, fill = NA, align = "center"),
    diff = abs(temp - local_median)
  ) %>%
  # 过滤掉差值超过阈值的行，首尾窗口为空的行默认保留
  filter(diff <= max_allowed_diff | is.na(diff)) %>%
  # 移除计算用的辅助列
  select(-datetime, -local_median, -diff)

运行上述代码后，你示例中的第6、12、13、14行都会被判定为异常并删除。

方案2：IQR离群值过滤（适合温度整体波动规律稳定的场景） #

如果你的测温场景温度整体波动范围稳定，可以用四分位距规则识别全局/局部离群值：

# 可调参数
window_size <- 7 # 滑动窗口大小
iqr_factor <- 1.5 # 通用离群值判定系数，要求更严格可以调小到1

df_clean <- df %>%
  mutate(
    q1 = rollapply(temp, width = window_size, FUN = quantile, probs = 0.25, fill = NA, align = "center"),
    q3 = rollapply(temp, width = window_size, FUN = quantile, probs = 0.75, fill = NA, align = "center"),
    iqr = q3 - q1,
    upper_limit = q3 + iqr_factor * iqr,
    lower_limit = q1 - iqr_factor * iqr
  ) %>%
  filter(temp <= upper_limit | is.na(upper_limit), temp >= lower_limit | is.na(lower_limit)) %>%
  select(-datetime, -q1, -q3, -iqr, -upper_limit, -lower_limit)

参数调整说明 #

• 如果测温采样频率很高，可适当调大window_size的值
• 如果测温场景允许的温度波动较大，可以调大max_allowed_diff或iqr_factor的值

内容的提问来源于stack exchange，提问作者user17443028