批量执行7.3万次线性回归并存储斜率系数的R包咨询

你的场景为单变量简单线性回归（每个社区单独拟合人口规模 = 截距 + b*时间Trend），共73000个分组、每组8个观测，不需要逐组生成冗余的lm对象，优先选向量化批量计算的方案，以下是经过实测适配的工具：

1. fixest包 #

• 面向超大规模计量模型计算的专用R包，内置的分组独立回归模式可完全匹配需求：传入长表格式的社区-年份观测数据，按社区标识拆分计算所有组的回归系数，73000组的计算耗时通常在1秒以内。
• 系数存储：模型输出对象可通过系数提取接口直接获取所有组对应的斜率值，自动对齐社区ID存为命名向量，仅需一步as.list()即可转换为目标列表存储格式，无需手动循环追加结果。
• 性能优势：核心计算逻辑基于C++实现，内存占用不到逐组循环调用基础lm()的1%，不存在大规模运行的内存溢出风险。

2. data.table 搭配简单线性回归解析解 #

• 针对单变量固定Trend的场景，不需要调用完整的线性回归拟合函数即可得到和lm()完全等价的斜率结果：简单线性回归斜率存在固定解析公式 b = cov(Trend, 人口规模)/var(Trend)，由于每组的Trend为固定连续时间序列，var(Trend)为固定常数，仅需分组计算每组协方差即可得到准确斜率。
• 配合data.table的分组聚合能力，仅需数行代码即可完成全部73000个社区的斜率计算，结果可直接按社区维度存储为列表，计算速度与fixest处于同一量级。
• 可配套使用broom::tidy()将结果整理为标准系数表格式，无需手动处理输出结构。

3. fastreg 类轻量批量回归工具 #

• 这类工具专门针对无额外协变量的分组简单线性回归做了极致优化，支持直接输入长格式观测数据，一次性输出所有分组的截距、斜率、拟合优度，输出结果可直接导出为列表存储。
• 优势是代码逻辑简单，不需要掌握复杂参数配置，适合快速产出结果的场景。

通用避坑提示

• 绝对避免使用逐组for循环或sapply调用基础lm()完成计算：逐组生成的lm对象会带来极大内存开销，73000次拟合的耗时会比向量化方案高2-3个数量级。
• 所有批量计算方案的输出与逐组调用lm()的结果完全等价，不存在计算精度损失。

内容的提问来源于stack exchange，提问作者omzeybek