将数据框中的异常值与NA转换为NaN的实现方案

给定如下数据集：

structure(list(media = c(56.257, NA, NA, 
56.256, 56.267, NA, NA, 56.265, 56.262, 56.259, 56.265, 
56.263, 56.265, 56.262, 56.264, NaN, 56.268, 56.265, 560.26, 
5600.2, 56.265, 56.262, 56.263, 56.264, 56.263, 56.265, 56.271, 
56.271, 56.28, 56.281), cycle_rounded = structure(c(1604487600, 
1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 
1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 
1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 
1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 1604487600, 
1604487600, 1604487600, 1604487600, 1604489400, 1604489400), class = c("POSIXct", 
"POSIXt"), tzone = "UTC")), row.names = c(NA, -30L), class = c("data.table", 
"data.frame"), .internal.selfref = <pointer: 0x000001d9d6a21f90>)

需要完成两项操作：

• 将media列中超出IQR（四分位距）范围的异常值转换为NaN
• 将NA转换为NaN，以便用geom_line()绘图时自动产生折线断点

尝试过以下代码但无法正常运行：

mutate(media = case_when(media > 1.5*IQR(media, na.rm = T) ~ NaN))

你的代码存在两个核心问题：只判断了大于上界的异常值，遗漏了小于下界的情况；同时未保留正常数值，也没处理NA转NaN的需求。以下是两种可行的解决方法：

方法一：使用dplyr语法 #

library(dplyr)

df_cleaned <- df %>%
  mutate(
    # 先将NA转换为NaN
    media = ifelse(is.na(media), NaN, media),
    # 计算IQR相关统计量
    q1 = quantile(media, 0.25, na.rm = TRUE),
    q3 = quantile(media, 0.75, na.rm = TRUE),
    iqr_val = IQR(media, na.rm = TRUE),
    lower_bound = q1 - 1.5 * iqr_val,
    upper_bound = q3 + 1.5 * iqr_val,
    # 标记超出范围的异常值为NaN
    media = case_when(
      media < lower_bound | media > upper_bound ~ NaN,
      TRUE ~ media
    )
  ) %>%
  # 移除临时计算的辅助列
  select(-q1, -q3, -iqr_val, -lower_bound, -upper_bound)

方法二：使用data.table语法（适配原数据类型） #

library(data.table)

# 提前计算IQR上下界
q1 <- quantile(df$media, 0.25, na.rm = TRUE)
q3 <- quantile(df$media, 0.75, na.rm = TRUE)
iqr_val <- IQR(df$media, na.rm = TRUE)
lower_bound <- q1 - 1.5 * iqr_val
upper_bound <- q3 + 1.5 * iqr_val

# 执行转换操作
df[, media := fifelse(is.na(media), NaN, media)]
df[, media := fifelse(media < lower_bound | media > upper_bound, NaN, media)]

关键说明 #

• IQR异常值的判断标准是：数值小于Q1 - 1.5*IQR或大于Q3 + 1.5*IQR，原代码仅处理了大于上界的情况，遗漏了下界
• 先将NA转为NaN，再处理异常值，确保所有需要断点的位置都用NaN表示，完全适配geom_line()的绘图需求
• 原数据为data.table类型，使用data.table语法处理会更高效，dplyr语法则兼容性更广

内容的提问来源于stack exchange，提问作者Wilson Souza