lm_robust函数内存指数增长问题及大样本固定效应回归咨询

一、内存指数增长的核心原因 #

你的问题本质是estimatr::lm_robust()处理固定效应的机制导致的内存灾难：

• lm_robust()的fixed_effects参数默认通过生成密集虚拟变量矩阵实现固定效应，而非更高效的组内去均值（Within Estimator）方法。当你的聚类/固定效应变量g有20000个唯一值时，会生成近20000个虚拟变量，此时设计矩阵X的规模为600万行 × 20005列（5个自变量+20000个虚拟变量），存储这个密集矩阵需要约960GB内存（6e6 × 20005 × 8字节），这就是你看到739GB内存分配错误的直接原因。
• 测试中的非叠加性：前75万行的内存需求不是前50万+中间25万的总和，是因为前75万行的g唯一值（12919）比前50万行（12188）新增了731个，导致虚拟变量列数增加。设计矩阵的内存占用是行数×列数的线性增长，而矩阵运算的中间结果（如X'X）是列数的平方级增长，因此当唯一组数量持续增加时，内存需求会呈现出远超样本量增长的趋势。

二、针对大型数据集的固定效应回归解决方案 #

1. 优先使用专门的固定效应工具包（推荐） #

放弃estimatr，改用默认采用组内去均值、避免虚拟变量生成的工具包，这类工具包对大型数据集的内存效率和运算速度都远高于lm_robust()：

（1）fixest包（最适合大规模数据）

fixest是当前处理固定效应回归最高效的工具包之一，语法简洁且支持Stata风格的聚类标准误：

library(fixest)
# 用|分隔核心自变量与固定效应，cluster指定聚类变量，se="stata"匹配需求
FER_fixest <- feols(a ~ b + c + d + e + f | g, 
                    data = df, 
                    cluster = ~g,
                    se = "stata")
summary(FER_fixest)

feols()会自动对每个组的变量做组内去均值，完全避免虚拟变量矩阵，内存占用仅与原始数据集相当，600万行的数据可以轻松处理。

（2）lfe包

lfe专门为线性固定效应模型设计，同样采用组内去均值方法：

library(lfe)
# 公式格式：y ~ 自变量 | 固定效应 | 工具变量 | 聚类变量（无工具变量填0）
FER_lfe <- felm(a ~ b + c + d + e + f | g | 0 | g, data = df)
summary(FER_lfe)

2. 手动组内去均值后使用lm_robust() #

如果必须使用estimatr，可以先手动对变量做组内去均值，消除固定效应后再回归，避免生成虚拟变量：

library(dplyr)
library(estimatr)

# 按g分组，对所有回归变量做组内去均值
df_within <- df %>%
  group_by(g) %>%
  mutate(across(c(a, b, c, d, e, f), ~ .x - mean(.x, na.rm = TRUE))) %>%
  ungroup()

# 回归时去掉截距（去均值后截距为0），仅保留聚类标准误设置
FER_robust <- lm_robust(a ~ b + c + d + e + f - 1,
                        data = df_within,
                        clusters = g,
                        se_type = "stata")
summary(FER_robust)

额外优化建议 #

• 将字符型的g转换为因子：df$g <- as.factor(df$g)，所有工具包处理因子型组变量的效率都会更高。
• 运行回归前执行gc()强制垃圾回收，释放闲置内存，减少内存碎片影响。
• 回归前仅保留所需变量（a-f和g），降低数据集的内存占用。

内容的提问来源于stack exchange，提问作者Andrew