R语言嵌套病例对照研究：大规模数据高效子集化方案求助

我在做流行病学队列研究，需要模拟验证嵌套病例对照设计的性能。现有一个含时变暴露的扩展生存数据集data，每行对应受试者-时段，Event=1为病例，Event=0为对照，包含exposure等时变变量和性别等固定变量。目标是构建嵌套病例对照数据集：为每个病例匹配set个对照，匹配条件是Stop（时段终点）和性别，同一匹配组若有多个病例，需按病例数倍数抽取对照。

当前用data.table结合lapply循环实现，但百万级数据下效率低、内存占用高，寻求更高效省内存的解决方案。

当前实现代码 #

library(data.table)

#Convert data into data.table 
setDT(data)

## Define relevant information for risk sets
#1) Matching variables: "Stop" and "sex"
#2) Count number of cases per risk set
infocase <- data[Event==1,.(count = .N), by=c("Stop","sex")][
  order(Stop,sex)] # ordering is just convenient

# Define risk set size
set<-2

# Loop trhough each case-Stop-sex triples 
ncc <- lapply(seq(nrow(infocase)), function(i) {

  x <- infocase[i,]
  
  # Sample controls based on "Stop" and "sex" value
  controls<-data[Event==0 & Stop==x$Stop & sex==x$sex][sample(.N, min(set*x$count,.N))]
  
  # Create full risk set with cases and controls. Give it an identifier
  fullset<-rbind(controls,data[Event==1 & Stop==x$Stop & sex==x$sex])
  fullset$riskset<-i
  fullset
})

# Bind all risk sets together
ncc <- rbindlist(ncc)

示例数据 #

data <- structure(list(Id = c(1, 1, 2, 2, 2, 3, 4, 4, 5, 5, 5, 6, 6),
                       Event = c(0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 1), 
                       Start = c(0, 1, 0, 1, 2, 0, 0, 1, 0, 1, 2, 0, 1), 
                       Stop = c(1, 2, 1, 2, 3, 1, 1, 2, 1, 2, 3, 1, 2), 
                       sex = c(1, 1, 0, 0, 0, 1, 0, 0, 1, 1, 1, 0, 0),
                       exposure = c(10.89, 6.54, 14.58, 11.82, 9.5, 9.53, 13.9, 9.54, 7.48, 5.4, 3.8, 12.78, 10.97)),
                  row.names = c(1L, 2L, 6L, 7L, 8L, 11L, 16L,  17L, 21L, 22L, 23L, 26L, 27L),  
class = "data.frame") 

优化解决方案 #

核心思路是利用data.table的分组操作+内联抽样替代循环，减少内存拷贝和函数调用开销，适配百万级数据规模：

优化代码 #

library(data.table)
setDT(data)

# 定义病例-对照匹配比例
set_ratio <- 2

# 1. 提取病例并按匹配组标记风险ID
cases <- data[Event == 1]
cases[, riskset := .GRP, by = .(Stop, sex)]  # 用分组序号作为风险组ID
case_counts <- cases[, .(case_n = .N), by = .(Stop, sex, riskset)]

# 2. 提取对照，按匹配组抽样（病例数*set_ratio倍）
controls <- data[Event == 0, 
                 .SD[sample(.N, min(set_ratio * case_counts[.BY, case_n], .N))],
                 by = .(Stop, sex),
                 .SDcols = names(data)]  # 保留所有列

# 关联对照的风险组ID
controls[, riskset := case_counts[.BY, riskset], by = .(Stop, sex)]

# 3. 合并病例与对照，完成数据集构建
ncc <- rbind(cases, controls)
setorder(ncc, riskset, Event)  # 可选：按风险组+事件类型排序

优化点说明 #

• 消除循环开销：用data.table原生分组操作替代lapply循环，避免反复子集化原数据集；
• 内联抽样减少内存拷贝：在对照分组时直接完成抽样，无需临时创建小数据集再合并；
• 高效标记风险组：用.GRP自动生成匹配组ID，避免手动赋值的繁琐；
• 保留原数据结构：通过.SDcols = names(data)确保所有变量被保留，无需手动列名。

额外性能建议 #

• 确保Stop和sex列是整数类型（而非因子/字符），可降低分组计算的资源消耗；
• 若内存仍紧张，可按Stop分块处理：拆分数据集为多个子块分批构建，最后合并结果；
• 禁用自动索引（如无需求）：options(datatable.auto.index = FALSE)，减少索引占用的额外内存。

内容的提问来源于stack exchange，提问作者jappo19