优化if-else循环以高效填充百万级数据集缺失值

你的循环处理慢的核心原因是R的逐行for循环在百万级数据上会产生巨大的内存和计算开销，每次迭代单独访问、修改数据的模式效率极低。下面用向量化操作+data.table包（专为大数据场景优化）实现你的需求，速度能提升几个数量级。

核心思路 #

1. 将缺失值标记-99转为NA，适配R原生的缺失值处理工具
2. 用向量化方式一次性提取每个缺失值前后3行的数值
3. 快速筛选出前后3行中第一个有效数值
4. 按规则批量填充缺失值

代码实现 #

# 安装依赖包（首次运行时执行）
# install.packages(c("data.table", "dplyr"))

# 加载工具包
library(data.table)
library(dplyr)

# 将数据转为data.table（大数据处理的最优结构）
setDT(data)

# 标记需要处理的缺失值：仅处理MIN==30且TEMPERATURE为-99的行
data[TEMPERATURE == -99 & MIN == 30, TEMPERATURE := NA]

# 生成前后3行的数值列
data[, c("prev1", "prev2", "prev3") := shift(TEMPERATURE, n = 1:3, type = "lag")]
data[, c("next1", "next2", "next3") := shift(TEMPERATURE, n = 1:3, type = "lead")]

# 提取前向有效值：从最近的前1行到前3行找第一个非NA值
data[, aa := coalesce(prev1, prev2, prev3)]
# 提取后向有效值：从最近的后1行到后3行找第一个非NA值
data[, bb := coalesce(next1, next2, next3)]

# 按规则批量填充缺失值
data[is.na(TEMPERATURE) & MIN == 30, TEMPERATURE := 
       case_when(
         !is.na(aa) & !is.na(bb) ~ (aa + bb)/2,
         !is.na(aa) ~ aa,
         !is.na(bb) ~ bb,
         TRUE ~ NA_real_  # 前后3行均无有效值时保留NA，可按需修改
       )]

# 清理临时生成的辅助列
data[, c("prev1", "prev2", "prev3", "next1", "next2", "next3", "aa", "bb") := NULL]

效率提升原因 #

• 向量化操作：所有计算批量完成，彻底避免逐行循环的冗余开销
• data.table底层优化：基于C语言实现，内存占用低，处理百万级数据的速度远快于普通data.frame
• coalesce/case_when：原生向量化函数，比嵌套ifelse的执行效率高数十倍

如果数据量达到数千万级，还可以进一步拆分数据分块处理，但上述方案已能覆盖绝大多数百万级数据集的需求。

内容的提问来源于stack exchange，提问作者Ajay