R语言处理百万级大数据时如何优化for循环提升运行速度

• 替换逐循环匹配逻辑为向量化关联操作：原有代码的核心逻辑是按subset字段匹配case和control数据，完全可以通过一次全量关联完成，不需要逐cluster_case循环过滤匹配，这一步就能降低至少2个数量级的时间开销。
• 采用data.table框架处理数据：相比原生data.frame和dplyr语法，data.table对千万级大数据的过滤、关联、分组操作性能提升10~100倍，且读数据、内存占用都有明显优势。
• 移除循环内增量绑定逻辑：原有代码中每轮循环都对bdd_temp做bind_rows操作，会反复全量复制已有结果数据，15万次循环下会产生指数级的内存拷贝开销，直接全量计算后再合并结果即可。
• 预计算case基准值：提前生成每个cluster_case对应的subset、case端年龄、case端随访时间的映射表，后续批量计算差值时不需要逐组判断case_control取值。

# 加载data.table，没有的话先install.packages("data.table")
library(data.table)

# 读数据，fread比read.csv快数十倍
id1 <- "199TNlYFwqzzWpi1iY5qX1-M11UoC51Cp"
id2 <- "1TeFCkqLDtEBz0JMBHh8goNWEjYol4O2z"
bdd_cases <- fread(sprintf("https://docs.google.com/uc?id=%s&export=download", id1))
bdd_control <- fread(sprintf("https://docs.google.com/uc?id=%s&export=download", id2))

# 预计算每个cluster_case的基准值：每个cluster只有1个case，直接提取即可
case_map <- bdd_cases[case_control == "case", .(cluster_case, subset, case_age = age, case_foll_up = foll_up)]

# 全量关联control和case映射表，批量过滤符合条件的control
matched_control <- bdd_control[case_map, on = "subset", allow.cartesian = TRUE][
  , `:=`(age_diff = abs(age - case_age), fup_diff = foll_up - case_foll_up)
][age_diff <= 2 & fup_diff == 0][, c("case_age", "case_foll_up", "age_diff", "fup_diff") := NULL]

# 合并原case数据和符合条件的control数据，得到最终结果
bdd_final <- rbind(bdd_cases, matched_control)

注：如果你的subset字段在case端有重复值，可根据实际业务调整关联逻辑，上述代码默认每个cluster_case对应唯一的subset值，符合你原有循环的逻辑。

内容的提问来源于stack exchange，提问作者Rizwan S A