R中线性回归点估计方法性能对比及相关技术疑问

云原生阿岚

2026-7-21

大样本线性回归系数点估计的R方法性能分析与疑问解答

测试背景与结果

为复现期刊论文结果，在5E+05至5E+07行、5至15列的大样本数据集上，针对线性回归beta系数点估计需求，测试了R中四种方法的耗时，测试环境为搭载Intel MKL加速的Windows微软Open R。四种方法及性能（以最快方法为100%）如下：

附带t值等额外统计量的标准方法lm()：190%
直接线性代数矩阵运算（计算逆矩阵）：point_estimates <- solve(t(A) %*% A) %*% t(A) %*% y，100%（最快）
基于QR分解的qr.solve(A, y)：124%
基于QR分解的stats包方法lm.fit(A, y)$coefficients：107%

三种方法的核心计算逻辑和附加操作存在明显差异：

直接矩阵运算：仅执行t(A)%*%A求逆后与t(A)%*%y相乘的核心步骤，无额外的结果校验、格式包装或中间状态存储，是最精简的计算路径。
lm.fit()：底层基于QR分解，但专为线性回归场景做了针对性优化——比如默认适配超定回归（样本数远大于特征数）的计算逻辑，返回结果仅保留系数等核心内容，比通用QR求解少了冗余的分支判断和通用场景处理。
qr.solve()：是通用线性方程组求解器，需要覆盖欠定、方阵、超定等多种场景，因此包含更多参数校验、通用化处理步骤，额外开销更高。

直接矩阵运算速度领先的原因主要有两点：

计算量适配场景：你的数据特征维度仅5-15列，属于低维场景。此时计算t(A)%*%A（p×p矩阵，p=5-15）的逆运算开销极小，MKL对小矩阵的逆运算优化极佳，整体运算量远低于QR分解（QR分解为O(np²)，直接法为O(np² + p³)，p极小时p³可忽略）。
无冗余逻辑：不像QR分解类方法需要处理正交化、残差计算等附加步骤，直接法就是纯矩阵运算，没有分支判断或结果封装的额外开销。

至于稳定性问题，只有当A'A接近奇异（严重共线性）时才会凸显，你的测试场景中无严重共线性，因此稳定性问题未暴露，速度优势得以体现。

lm.fit()是专为线性回归设计的QR分解实现，而qr.solve()是通用求解器，差异体现在：

场景针对性优化：lm.fit()默认处理超定线性回归场景，直接调用MKL中针对该场景优化的QR分解接口，跳过通用求解器中针对欠定、方阵等其他场景的判断逻辑。
结果输出精简：lm.fit()仅返回回归相关的核心结果（系数、残差、秩等），无需处理通用解的多种情况，减少了结果整理的开销。
内存效率更高：lm.fit()计算过程中会复用内存，避免不必要的中间矩阵拷贝，而qr.solve()为了通用性会保留更多中间结果，内存操作更频繁。

即使无严重共线性，QR方法仍有两个关键优势：

数值稳定性更优：直接法依赖t(A)%*%A的逆，当特征存在弱共线性时，t(A)%*%A的条件数会增大，逆运算会放大数值误差，导致系数估计精度下降；而QR分解通过正交化过程，天然具备更好的数值稳定性，估计结果精度更高。
扩展性更强：如果后续需要扩展计算（比如计算残差、预测值、添加正则化），QR分解的中间结果可直接复用，而直接法需要重新计算矩阵，后续扩展成本更高。

针对普通线性回归和固定效应模型，可选择以下更快的方案：

普通线性回归：
- fastLm()（RcppArmadillo包）：基于Armadillo库的优化QR分解实现，大样本低维场景下速度比lm.fit()更快，MKL加速下性能提升明显。
- bigLM()（biglm包）：专为大内存数据集设计，采用分块QR分解，无需加载整个数据集到内存，适配你的超大规模样本场景。
固定效应线性回归：
- feols()（fixest包）：当前R中最快的固定效应回归实现之一，支持多固定效应、聚类标准误，底层采用优化的分块矩阵运算和QR分解，大样本下性能远超lfe包。
- lfe::felm()：经典固定效应回归工具，速度远快于基础包lm()，适合复杂固定效应组合，但大样本下feols()表现更优。
- 手动固定效应变换+RcppEigen::fastLm()：对数据做去均值变换（固定效应的本质）后，用Eigen的快速线性回归求解，适合自定义固定效应场景。

内容的提问来源于stack exchange，提问作者blizzard16