R语言嵌套for循环低效问题：向量化优化方案问询

问题背景 #

你有一份纵向存储的参与者随访数据集，每个参与者的随访次数不固定（当前1-14次，后续会新增）。需要针对变量列表var创建对应的vare（即var_ever）变量，标记该随访时点及之前参与者是否曾对对应变量报告过“是”（值为1）。现有嵌套for循环实现，但处理数千行数据时速度极慢，希望优化代码。

示例输入输出 #

var  = c("var1","var2")
vare = paste0(var,"_ever")

data = data.frame(idno         = c(123,123,123,123,123,123,123),
                  followup_num = c(0,1,2,3,4,5,6),
                  var1         = c(0,NA,0,1,0,NA,1),
                  var2         = c(1,NA,NA,0,0,0,1)
                 )         
data$var1_ever = c(0,0,0,1,1,1,1)
data$var2_ever = c(1,1,1,1,1,1,1)

原低效嵌套循环代码 #

#For each ID
for (i in unique(data$idno)) {

  id  = data$idno%in%i              #Get the relevant lines for this ID
  fus = sort(data$followup_num[id]) #Get the follow-up numbers
  
  #For each variable in the list
  for (v in seq_along(var)) {

    #Loop through the follow-ups. If you see that the variable reports "yes", mark 
    #  this and every proceeding follow-up as having reported that variable ever 
    #  Otherwise, mark the opposite at that line and move to the next follow-up
    for (f in fus) {
      if (t(data[id & data$followup_num%in%f,var[v]])%in%1) {
        data[id & data$followup_num >= f,vare[v]] = 1
        break
      } else {
        data[id & data$followup_num%in%f,vare[v]] = 0
      }
    }    
  }
}

高效解决方案 #

原代码慢的核心原因是三重嵌套循环+频繁修改数据集子集，以下是三种高效优化方案，均基于向量化操作替代逐行循环：

方法1：tidyverse（dplyr）实现 #

利用分组+累积最大值函数，支持批量处理变量，代码简洁易读：

library(dplyr)

# 先按id和随访次数排序，确保时间顺序正确
data <- data %>%
  arrange(idno, followup_num) %>%
  group_by(idno) %>%
  # 批量处理所有var列表中的变量，生成对应_ever列
  mutate(across(all_of(var), ~cummax(coalesce(.x, 0)), .names = "{.col}_ever")) %>%
  ungroup()

• coalesce(.x, 0)：将NA替换为0，避免累积计算被NA中断
• cummax()：计算累积最大值，一旦出现1，后续所有值都会保持1，完美匹配"ever"的定义
• across()：批量处理变量列表，无需逐个编写变量逻辑

方法2：data.table实现（高性能大数据场景） #

data.table的分组操作速度远超base R循环，适合处理十万级以上数据：

library(data.table)

# 转换为data.table格式并排序
setDT(data)
setorder(data, idno, followup_num)

# 批量生成_ever列
data[, paste0(var, "_ever") := lapply(.SD, function(x) cummax(fcoalesce(x, 0))), 
     by = idno, .SDcols = var]

• fcoalesce()：data.table专属的NA替换函数，效率更高
• 按idno分组后，对指定列（.SDcols）批量应用累积最大值计算

方法3：Base R实现（无需额外包） #

如果不想加载第三方包，可通过ave()函数实现分组累积计算：

# 先确保数据按id和随访次数排序
data <- data[order(data$idno, data$followup_num), ]

# 循环处理每个变量
for (v in var) {
  data[[paste0(v, "_ever")]] <- ave(data[[v]], data$idno, 
                                    FUN = function(x) {
                                      x[is.na(x)] <- 0
                                      cummax(x)
                                    })
}

• 仅循环变量列表，而非每个id和随访点，比原嵌套循环效率提升数十倍
• ave()自动按id分组，对每组变量执行累积最大值计算

内容的提问来源于stack exchange，提问作者kimena