面板数据批量回归存系数遇内存不足，求低资源实现方案

原方法的核心问题是do()会存储每个分组的完整lm拟合对象，里面包含残差、拟合值、模型矩阵等大量冗余信息，导致内存占用过高。以下是几种资源消耗更低的实现方式：

1. 一元回归：直接用统计公式计算系数（最优方案） #

对于一元线性回归RET ~ MKTRET，可以跳过lm函数，直接用统计量推导系数，完全避免存储模型对象，内存占用极低：

library(dplyr)

result <- df %>%
  # 按指定维度分组
  group_by(month, year, ASSET_CODE) %>%
  # 过滤掉观测数不足2的分组（无法计算回归系数）
  filter(n() >= 2) %>%
  # 计算所需统计量
  summarize(
    mean_RET = mean(RET, na.rm = TRUE),
    mean_MKTRET = mean(MKTRET, na.rm = TRUE),
    cov_RET_MKTRET = cov(RET, MKTRET, use = "complete.obs"),
    var_MKTRET = var(MKTRET, na.rm = TRUE),
    .groups = "drop"
  ) %>%
  # 推导截距和斜率
  mutate(
    # 处理MKTRET无变异的情况（避免除以0）
    SLOPE = ifelse(var_MKTRET == 0, NA, cov_RET_MKTRET / var_MKTRET),
    INTERCEPT = mean_RET - SLOPE * mean_MKTRET
  ) %>%
  # 保留目标字段
  select(month, year, ASSET_CODE, INTERCEPT, SLOPE)

2. 多元回归：用矩阵运算直接计算系数 #

如果是多元回归（比如RET ~ MKTRET + VAR1 + VAR2），可以用矩阵乘法替代lm，只计算并提取系数，不存储冗余模型信息：

library(dplyr)

result <- df %>%
  group_by(month, year, ASSET_CODE) %>%
  # 过滤观测数不少于变量数的分组
  filter(n() >= ncol(model.matrix(RET ~ MKTRET + VAR1 + VAR2, data = .))) %>%
  summarize(
    coefs = list({
      # 构建模型矩阵和因变量向量（自动处理NA）
      X <- model.matrix(RET ~ MKTRET + VAR1 + VAR2, data = ., na.action = na.omit)
      y <- .$RET[complete.cases(., RET, MKTRET, VAR1, VAR2)]
      # 用最小二乘公式计算系数：(X'X)^-1 X'y
      solve(crossprod(X), crossprod(X, y))
    }),
    .groups = "drop"
  ) %>%
  # 提取各变量的系数
  mutate(
    INTERCEPT = sapply(coefs, `[`, 1),
    SLOPE_MKTRET = sapply(coefs, `[`, 2),
    SLOPE_VAR1 = sapply(coefs, `[`, 3),
    SLOPE_VAR2 = sapply(coefs, `[`, 4)
  ) %>%
  select(-coefs)

3. 用data.table进一步提升效率 #

如果数据量极大，data.table的分组运算比dplyr更快，内存管理更高效，这里以一元回归为例：

library(data.table)
setDT(df)

result <- df[, .(
  mean_RET = mean(RET, na.rm = TRUE),
  mean_MKTRET = mean(MKTRET, na.rm = TRUE),
  cov_RET_MKTRET = cov(RET, MKTRET, use = "complete.obs"),
  var_MKTRET = var(MKTRET, na.rm = TRUE)
), by = .(month, year, ASSET_CODE)][
  # 过滤有效分组
  .N >= 2,
  # 计算系数
  `:=`(
    SLOPE = ifelse(var_MKTRET == 0, NA, cov_RET_MKTRET / var_MKTRET),
    INTERCEPT = mean_RET - SLOPE * mean_MKTRET
  )
][, .(month, year, ASSET_CODE, INTERCEPT, SLOPE)]

核心思路总结 #

• 避免存储完整的lm拟合对象，只保留需要的系数
• 一元回归优先用统计公式直接计算，多元回归用矩阵运算替代lm
• 大数据量下优先选择data.table框架

内容的提问来源于stack exchange，提问作者datgoaltho