R大数据集处理：如何用apply族替代for循环实现空值快速填充

• 列按Node、Descr成对排布，相邻同结构节点组间隔2列
• 触发条件：某组的Node字段为空，且左侧相邻节点组的Node、右侧相邻节点组的Node都不为空
• 填充规则：用左侧相邻组的Node值、Descr值填充当前空组的对应字段

R对普通data.frame遵循**修改时复制（copy-on-modify）**机制：原双层循环逐行逐元素修改，每次修改单个值都会触发整个数据集的内存拷贝，大样本下反复拷贝的开销极高；同时逐行逻辑判断的效率远低于底层实现的向量化操作。

以下方案逻辑与原循环完全一致，不需要改动业务规则，速度可提升10~1000倍，按性能从低到高排序：

方案1：基础R向量化改动（无依赖，改动最小） #

移除原循环的内层逐行遍历，改为一次性对整列做判断与批量赋值，利用R的向量化特性加速：

# 生成所有需要判断的Node列索引（步长2匹配同结构组的间隔）
j_vec <- seq(8, 20, by = 2)

# 仅保留列循环，移除行循环
for (j in j_vec) {
  # 一次性生成所有行的填充标记，不要逐行判断
  fill_flag <- is.na(old_data[[j]]) & !is.na(old_data[[j-2]]) & !is.na(old_data[[j+2]])
  # 批量赋值符合条件的行
  old_data[[j]][fill_flag] <- old_data[[j-2]][fill_flag]
  old_data[[j+1]][fill_flag] <- old_data[[j-1]][fill_flag]
}

如果空值是用空字符串""而非NA存储，把is.na()替换为old_data[[j]] == ""即可。
注意：请确认j_vec为所有待处理的Node列索引，索引间隔为2（对应左右相邻的同结构Node列），避免误取Descr列导致逻辑错误。如果原循环的8:20是连续索引而非间隔2的Node列，请先手动提取所有Node列的位置生成j_vec。

方案2：data.table 原地修改方案（超大数据集首选） #

如果数据集行数超过10万行，用data.table的原地赋值操作，完全避免内存拷贝，性能最优：

# 导入data.table，将普通data.frame转为data.table
library(data.table)
setDT(old_data)

j_vec <- seq(8, 20, by = 2)
for (j in j_vec) {
  fill_flag <- is.na(old_data[[j]]) & !is.na(old_data[[j-2]]) & !is.na(old_data[[j+2]])
  # set()为原地批量赋值，无内存拷贝开销
  set(old_data, i = which(fill_flag), j = j, value = old_data[[j-2]][fill_flag])
  set(old_data, i = which(fill_flag), j = j+1, value = old_data[[j-1]][fill_flag])
}

方案3：矩阵向量化方案（极致性能） #

如果数据集所有列类型统一（均为字符串/均为数值），可转为矩阵操作，进一步消除列类型检查的开销：

# 转为矩阵（非统一类型列需先转为字符串再转换）
old_mat <- as.matrix(old_data)
j_vec <- seq(8, 20, by = 2)

for (j in j_vec) {
  fill_flag <- is.na(old_mat[, j]) & !is.na(old_mat[, j-2]) & !is.na(old_mat[, j+2])
  old_mat[fill_flag, j] <- old_mat[fill_flag, j-2]
  old_mat[fill_flag, j+1] <- old_mat[fill_flag, j-1]
}

# 处理完成后转回data.frame即可
old_data <- as.data.frame(old_mat)

不要使用apply族函数处理该需求：逐行apply的本质还是逐行遍历，会将每行转为单独的向量做函数调用，开销远高于上述向量化列操作，甚至比原循环更慢。

内容的提问来源于stack exchange，提问作者Rameet