基于参考数据框按日期条件生成多个新数据框的技术问询

需求说明：

• df1的每一行对应var1和var2的唯一组合，每行需基于df2生成一个新数据框
• df2包含与df1相同的var1/var2取值，且每个组合对应多个ID
• 新数据框需保留所有date_ID < date_agg的df2记录（并非仅匹配当前行var1/var2的记录）
• 实际数据量较大，要求方案具备低计算复杂度

示例数据：

set.seed(1)

var1 <- c("A","B","C","D")
var2 <- c("X","Y","Z")

df1 <- expand.grid(var1,var2)
df1$date_agg = sample(seq(as.Date('2000/01/01'), as.Date('2023/01/01'), by="day"), 12, replace = TRUE)

df2 <- data.frame(ID = sample(1:1000, replace=FALSE),
                  var1 = sample(c("A","B","C","D"),1000, replace = TRUE),
                  var2 = sample(c("X","Y","Z"),1000, replace = TRUE),
                  date_ID = sample(seq(as.Date('2000/01/01'), as.Date('2023/01/01'), by="day"), 1000, replace = TRUE))

方法1：使用data.table（低计算复杂度） #

data.table的二进制搜索与快速过滤特性非常适配大规模数据场景，步骤如下：

1. 将两个数据框转换为data.table格式
2. 对df2按date_ID排序，启用索引加速后续过滤
3. 遍历df1的每一行，通过二进制搜索快速筛选符合日期条件的df2记录，并绑定当前行的var1/var2/date_agg信息

library(data.table)

# 转换为data.table结构
setDT(df1)
setDT(df2)

# 对df2按date_ID排序并设置索引，加速二进制搜索
setkey(df2, date_ID)

# 生成结果列表，每个元素对应df1一行的目标数据框
result_list <- df1[, {
  # 快速筛选date_ID < 当前date_agg的所有df2记录
  filtered_df2 <- df2[date_ID < date_agg]
  # 添加当前聚合行的标识信息
  filtered_df2[, c("var1_agg", "var2_agg", "date_agg") := .(var1, var2, date_agg)]
  list(filtered_df2)
}, by = .(var1, var2, date_agg)]

# 若需合并为单个大数据框，执行以下代码：
result_df <- rbindlist(result_list$V1)

方法2：使用dplyr+purrr（代码简洁） #

如果习惯tidyverse语法，可结合purrr::pmap实现，代码可读性强，但性能略逊于data.table，适合中等规模数据：

library(dplyr)
library(purrr)

# 预处理df2：按date_ID排序（可选，提升过滤效率）
df2_sorted <- df2 %>% arrange(date_ID)

# 遍历df1每行，生成对应的数据框
result_list <- pmap(df1, function(var1, var2, date_agg) {
  df2_sorted %>%
    filter(date_ID < date_agg) %>%
    mutate(var1_agg = var1, var2_agg = var2, date_agg = date_agg)
})

# 合并为单个数据框
result_df <- bind_rows(result_list)

复杂度说明 #

• data.table方法：借助二进制搜索（O(logN)），遍历df1的M行总复杂度为O(M*logN + N)，远低于逐行全量扫描的O(M*N)，可轻松处理百万级以上数据
• dplyr方法：默认过滤为O(N)/次，总复杂度O(M*N)，数据量大时效率较低

内容的提问来源于stack exchange，提问作者Joep_S