You need to enable JavaScript to run this app. MatrixModels稀疏拟合下如何快速计算回归统计量与预测值
优惠活动
大模型
产品
解决方案
定价
更多

MatrixModels稀疏拟合下如何快速计算回归统计量与预测值

稀疏线性/广义线性回归附加统计量快速计算方案

MatrixModels:::lm.fit.sparse和MatrixModels::glm4属于精简版底层拟合函数,没有封装上层统计量的计算逻辑,所有需要的回归统计量都可以基于你已经拿到的三类输出,结合当时传入的稀疏设计矩阵快速推导,完全不需要重新执行全量拟合流程:

通用基础前提

你调用拟合函数时传入的稀疏设计矩阵X是所有计算的核心素材,不需要重新构造,直接复用当时的对象即可。

针对lm.fit.sparse的线性回归统计量计算

所有计算步骤都保持稀疏矩阵运算,不转为稠密格式:

  • 残差自由度:直接用df.resid = nrow(X) - ncol(X),和拟合时使用的自由度完全一致
  • 残差方差估计:直接用返回的残差计算sigma2 = sum(residuals^2) / df.resid
  • 系数标准误(stderr):先计算稀疏交叉乘积XtX = Matrix::crossprod(X),取逆后乘以残差方差得到系数协方差矩阵coef_vcov = sigma2 * Matrix::solve(XtX, sparse = TRUE),对该矩阵的对角元取平方根,就是每个系数的标准误
  • t值:直接用系数除以对应标准误,即t_val = coefficients / stderr
  • p值:基于t分布做双侧检验,计算p_val = 2 * pt(abs(t_val), df = df.resid, lower.tail = FALSE)
  • 预测值:原样本的拟合值可以直接复用函数返回的fitted.values;对新样本预测时,只要按原因子处理规则生成对应结构的稀疏设计矩阵Xnew,通过矩阵乘法Xnew %*% coefficients即可得到线性预测值

针对glm4的广义线性回归统计量计算

广义线性模型基于渐近理论推导统计量,同样保持稀疏运算即可:

  • 残差自由度:和线性回归计算规则一致,df.resid = nrow(X) - ncol(X)
  • 渐近协方差矩阵:调用glm4时设置keep.work = TRUE即可直接拿到拟合最后一步的稀疏工作权重W,不需要重新跑迭代计算;后续计算加权稀疏交叉乘积WXtX = Matrix::crossprod(W %*% X),其逆就是渐近协方差的核心部分
  • 系数标准误:取Matrix::solve(WXtX, sparse = TRUE)的对角元开平方,即可得到每个系数的渐近标准误
  • z值:直接用系数除以对应标准误
  • p值:基于正态分布做双侧检验,计算p_val = 2 * pnorm(abs(z_val), lower.tail = FALSE)
  • 预测值:原样本的响应尺度拟合值可以直接复用函数返回的fitted.values;对新样本预测时,先生成对应结构的稀疏设计矩阵Xnew,计算线性预测值eta = Xnew %*% coefficients,再套用拟合时使用的连接函数的逆变换(如logit连接对应plogis、log连接对应exp),即可得到响应尺度的预测值

关键注意事项:所有矩阵运算全程保留Matrix包的稀疏矩阵类型,不要转为基础R的稠密矩阵,否则大样本下会损失稀疏拟合的速度优势,甚至出现内存溢出。


内容的提问来源于stack exchange,提问作者red_quark

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 07:15:04