如何编写函数将数据拆分至滚动12个月窗口？

问题描述 #

有500万行、时间范围覆盖2015年1月至2023年3月的数据集，需拆分为88个滚动12个月的DataFrame，每个DataFrame分配唯一ID后存入列表，再批量执行回归分析。当前手动逐个筛选区间的方法效率极低、代码冗余，需要用循环/批量操作实现自动化拆分。

用户现有手动实现的部分代码：

library(dplyr)
library(mondate)

x$Date<-as.yearmon(x$Date)

a<-x%>%filter(between(Date,"Jan 2015","Dec 2015"))%>%mutate(ID="a")
b<-x%>%filter(between(Date,"Feb 2015","Jan 2016"))%>%mutate(ID="b")
c<-x%>%filter(between(Date,"Mar 2015","Feb 2016"))%>%mutate(ID="c")
# ... 省略大量重复代码
jjjj<-x%>%filter(between(Date,"Apr 2022","Mar 2023"))%>%mutate(ID="jjjj")

df<-list(a,b,c,...) # 手动拼接88个DataFrame

高效解决方案 #

核心思路 #

1. 提取数据集所有唯一月份并排序，确定滚动窗口的起始/结束点
2. 用批量映射工具自动生成每个窗口的筛选结果
3. 为每个窗口分配唯一ID，直接存入列表，避免手动变量命名

代码实现（dplyr版本） #

library(dplyr)
library(zoo) # 替代mondate，更通用的yearmon处理包
library(purrr) # 高效批量处理

# 预处理日期列
x$Date <- as.yearmon(x$Date)

# 获取所有唯一月份并按时间排序
all_months <- sort(unique(x$Date))

# 计算滚动窗口数量：总月份数 - 11（每个窗口覆盖12个月）
window_count <- length(all_months) - 11
# 生成窗口起始索引
start_indices <- seq_len(window_count)

# 批量生成滚动窗口DataFrame列表
df_list <- map(start_indices, function(i) {
  # 确定当前窗口的起止月份
  start_month <- all_months[i]
  end_month <- all_months[i + 11]
  # 生成唯一ID：可选择编号格式（推荐）或字母序列格式（匹配原代码）
  # --- 编号格式（易识别）---
  window_id <- paste0("window_", i)
  # --- 字母序列格式（匹配原代码）---
  # generate_letters <- function(n) {
  #   vec <- c(letters, sapply(letters, \(l) paste0(l, letters)))
  #   vec[1:n]
  # }
  # window_id <- generate_letters(window_count)[i]
  
  # 筛选数据并添加ID
  x %>%
    filter(Date >= start_month & Date <= end_month) %>%
    mutate(ID = window_id)
})

大数据优化（data.table版本） #

针对500万行的大数据集，data.table的内存操作速度远高于dplyr，推荐使用：

library(data.table)
library(zoo)

setDT(x) # 转换为data.table格式
x$Date <- as.yearmon(x$Date)

all_months <- sort(unique(x$Date))
window_count <- length(all_months) - 11
start_indices <- seq_len(window_count)

df_list <- lapply(start_indices, function(i) {
  start <- all_months[i]
  end <- all_months[i + 11]
  window_id <- paste0("window_", i)
  # 直接用data.table的索引筛选，速度更快
  x[Date >= start & Date <= end][, ID := window_id]
})

批量执行回归 #

用purrr或plyr批量处理列表中的每个DataFrame：

# 定义你的回归函数（替换为实际公式）
run_regression <- function(df) {
  lm(dep_var ~ indep_var1 + indep_var2, data = df)
}

# 批量运行回归
reg_results <- map(df_list, run_regression)
# 若使用plyr：reg_results <- llply(df_list, run_regression)

内容的提问来源于stack exchange，提问作者a_js12