如何用纯data.table实现参与者评估的最小间隔过滤？

我懂你现在的痛点——用循环处理数十万行的数据集实在太慢了，必须换成纯data.table的高效写法！咱们直接上解决方案，先看代码，再讲思路：

问题回顾 #

我们需要给每个参与者过滤掉评估间隔期（这里是5天）内的重复记录，只保留符合间隔要求的评估记录。原循环方法迭代多次，大数据量下效率极低，现在用data.table的分组+累积操作来实现。

优化后的代码 #

library(data.table)
exclusionPeriod = 5
dt = data.table(id = c('a','a','a','a','b','b','b','c','c','c','c'), 
                start = c(1, 2, 7, 9, 1, 8, 12, 2, 4, 5, 8))
modelOut = data.table(id = c('a','a','b','b','c','c'), start = c(1, 7, 1, 8, 2, 8))

# 核心高效逻辑：按id分组，用累积判断保留有效记录
dt[, valid := Reduce(function(last_valid, current_start) {
  # 如果当前日期 >= 上一个有效日期 + 间隔期，就更新有效日期为当前日期
  # 否则沿用之前的有效日期
  if (current_start >= last_valid + exclusionPeriod) current_start else last_valid
}, start, accumulate = TRUE) == start, by = id]

# 筛选有效记录
out = dt[valid, .(id, start)]

# 验证结果
print(out)
print(all.equal(modelOut, out))

思路解释 #

1. 分组处理：用by = id确保每个参与者的记录单独处理，这是data.table高效分组的核心优势。
2. 累积判断：用Reduce的accumulate = TRUE参数，逐个遍历每个参与者的评估日期：
   • 第一个记录默认有效，作为初始的last_valid日期
   • 后续每个日期，判断是否满足「大于等于上一个有效日期 + 间隔期」：满足则标记为有效，并更新last_valid；不满足则标记为无效，沿用之前的last_valid
3. 筛选结果：最后只保留valid == TRUE的记录，就是我们需要的符合间隔要求的评估记录。

效率优势 #

原循环需要多次迭代更新diff和csum，每次都要操作数据集子集；而这个方案是每个分组内一次遍历完成，完全利用data.table的高效分组和内存操作，处理数十万行数据时速度会有质的提升。

内容的提问来源于stack exchange，提问作者Matt