R语言：在指定年度区间筛选间隔≥3个月的两个最低结果值

针对2000万行级别的数据，data.table凭借其C语言底层的分组运算和内存优化，相比tidyverse能带来数量级的速度提升。以下是完全匹配需求的实现方案：

假设数据结构 #

• df1：包含分组键ID（每个ID唯一）和初始日期base_date
• df2：包含ID、检测日期DATE、待筛选数值RESULT

实现步骤与代码 #

1. 加载依赖并转换数据格式 #

library(data.table)
library(lubridate)

# 将data.frame转换为data.table（若原数据已是则可跳过）
setDT(df1)
setDT(df2)

2. 关联数据并生成年度区间 #

先将两张表按ID关联，再把每个检测日期映射到对应的第2/3/4年区间（这里定义第2年区间为base_date + 1年至base_date + 2年，第3年为base_date + 2年至base_date + 3年，第4年为base_date + 3年至base_date + 4年，可根据需求调整区间定义）：

# 关联并生成各年度区间的起止日期，转长格式统一处理
dt_combined <- df2[df1, on = .(ID)][
  , .(DATE, RESULT, base_date = i.base_date)][
  , `:=`(
    year2_start = base_date %m+% years(1),
    year2_end = base_date %m+% years(2),
    year3_start = base_date %m+% years(2),
    year3_end = base_date %m+% years(3),
    year4_start = base_date %m+% years(3),
    year4_end = base_date %m+% years(4)
  )][
  , .(year_interval = c(2,3,4),
      start_date = c(year2_start, year3_start, year4_start),
      end_date = c(year2_end, year3_end, year4_end),
      DATE, RESULT), by = .(ID, base_date)][
  DATE >= start_date & DATE < end_date][
  , c("base_date", "start_date", "end_date") := NULL]

3. 核心分组筛选逻辑 #

按ID和year_interval分组，筛选出符合间隔要求的两个最低RESULT：

# 开启多线程（根据CPU核心数自动分配，可手动指定threads参数）
setDTthreads()

result_dt <- dt_combined[
  # 按分组键+RESULT升序排序，确保先处理最小值
  order(ID, year_interval, RESULT),
  {
    dt <- .SD[, .(DATE, RESULT)]
    # 处理记录数不足的情况
    if (nrow(dt) < 2) return(data.table(result1 = NA_real_, result2 = NA_real_))
    
    first_date <- dt$DATE[1]
    first_result <- dt$RESULT[1]
    
    # 找第一个与最小值间隔≥3个月的次低值
    valid_idx <- which(dt$DATE >= first_date %m+% months(3))[1]
    
    if (!is.na(valid_idx)) {
      data.table(result1 = first_result, result2 = dt$RESULT[valid_idx])
    } else {
      # 前两个值间隔不足，检查第三个值（若存在）
      if (nrow(dt) >= 3 && dt$DATE[3] >= first_date %m+% months(3)) {
        data.table(result1 = first_result, result2 = dt$RESULT[3])
      } else {
        # 无符合条件的第二个值，仅返回最小值
        data.table(result1 = first_result, result2 = NA_real_)
      }
    }
  },
  by = .(ID, year_interval)
]

关键优化点 #

• 多线程支持：通过setDTthreads()开启多线程分组运算，大幅提升大样本处理速度
• 最小化数据传递：使用.SD仅传递当前分组所需的DATE和RESULT列，减少内存开销
• 直接逻辑判断：避免先取多个值再筛选的冗余操作，直接定位符合间隔要求的数值，减少计算量
• 日期精确匹配：用lubridate的%m+% months(3)实现精确的日历月间隔判断（而非固定90天）

内容的提问来源于stack exchange，提问作者Erika Sama