大数据集下含权重的滞后变量加权最小二乘法提速咨询

一、重构设计矩阵：用embed()替代循环 #

原自定义函数的循环逻辑在滞后阶数升高时效率极低，完全可以用base R内置的embed()函数直接生成滞后矩阵，彻底摆脱循环：

matfun_fast <- function(RW, order) {
  # embed生成的矩阵每行对应 RW[t-order], RW[t-order+1], ..., RW[t-1]
  # 自动过滤掉前order个无法生成完整滞后项的观测，无需额外切片
  lag_mat <- embed(RW, dimension = order + 1)[, -1]
  return(lag_mat)
}

这个函数的速度比原循环版本快一个数量级以上，滞后阶数越大，提升越明显。

二、替换lm()：用轻量/高效拟合函数 #

lm()会默认计算大量冗余统计量（比如t检验、残差诊断等），如果只需要系数和拟合值，换成底层函数或专门的高效工具能大幅提速：

1. base R原生底层函数lm.fit() #

lm.fit()是lm()的核心实现，跳过了很多不必要的检查和统计量计算，速度快很多：

# 手动构造包含截距项的设计矩阵
X <- cbind(1, matt)
y <- RW[(order + 1):ndat]

# 传入权重执行拟合
fit <- lm.fit(x = X, y = y, weights = w)

# 提取系数（第一个就是截距项）
coef_result <- fit$coefficients
# 计算拟合值
fitted_result <- X %*% coef_result

2. 用RcppEigen的fastLm()实现极致提速 #

RcppEigen基于C++的Eigen线性代数库，拟合速度远胜base R函数，且完美支持权重参数：

library(RcppEigen)

X <- cbind(1, matt)
y <- RW[(order + 1):ndat]

fit <- fastLm(X, y, weights = w)
coef_result <- fit$coefficients
fitted_result <- fit$fitted.values

对于50万级别的观测，这个方法的拟合速度大概是lm()的5-10倍，内存占用也更低。

三、极端场景优化：手动用矩阵公式计算系数 #

如果滞后阶数特别高（比如超过100），显式生成设计矩阵会占用大量内存，这时可以直接用带权重的线性模型系数公式手动计算，避免生成冗余矩阵：

X <- cbind(1, matt)
y <- RW[(order + 1):ndat]
w_sqrt <- sqrt(w)

# 对X和y做权重缩放
X_weighted <- X * w_sqrt
y_weighted <- y * w_sqrt

# 用交叉乘积计算系数：(X^T W X)^-1 X^T W y
coef_result <- solve(crossprod(X_weighted), crossprod(X_weighted, y_weighted))
fitted_result <- X %*% coef_result

这个方法不需要生成庞大的权重对角矩阵，内存占用更低，计算速度也有保障。

内容的提问来源于stack exchange，提问作者runningoutoftime