R语言大规模样本Fast Granger/Wald Test报错与性能优化咨询

Q1：方法2和方法3运行失败原因及修复方案 #

方法2 #

• 报错原因：全局环境中存在名为dt的函数，和你定义的data.table变量重名，lm调用data参数时优先识别到了函数类型的dt，因此报出无法将function转为数据框的错误。你给出的示例代码本身无语法问题，正常环境下可直接运行。
• 修复方案：
  1. 先执行rm(dt)清理环境中的重名变量，再重新运行代码即可。
  2. 若不想清理环境，可修改拟合代码为fit_2 = lm(x ~ y, data = dt[])，强制传入data.table的数据集副本。

方法3 #

• 报错原因：RcppArmadillo::fastLm没有导出fastLm.formula这个S3方法，直接传入公式调用时找不到对应处理逻辑，因此报错。
• 修复方案：
  改用矩阵接口拟合，再补充lm类属性即可兼容waldtest调用，完整可运行代码如下：

  # 手动构造截距项+自变量矩阵传入
  fit_3 = RcppArmadillo::fastLm(X = cbind(1, y), y = x)
  # 补充lm类属性适配waldtest接口
  class(fit_3) = c("lm", class(fit_3))
  lmtest::waldtest(fit_3, test = "F")
  

Q2：百万级样本批量检验的提速方案 #

• 手写极简检验逻辑（性能最优）：你当前的场景是单变量回归的Wald F检验，计算逻辑非常简单，完全可以跳过lm、waldtest的大量封装校验步骤，直接用矩阵运算实现，速度比循环调用lm快100倍以上。示例实现如下：

  n = length(x)
  # 构造自变量矩阵（截距+ y）
  X = cbind(1, y)
  # 计算回归系数
  beta = solve(crossprod(X), crossprod(X, x))
  # 计算残差
  resid = x - X %*% beta
  mse = sum(resid^2)/(n-2)
  # 计算系数方差
  var_beta = diag(mse * solve(crossprod(X)))
  # 计算F值和p值
  f_val = (beta[2]^2)/var_beta[2]
  p_val = pf(f_val, 1, n-2, lower.tail = FALSE)
  

  批量运算时可将上述逻辑向量化，完全避免R层循环开销。
• 改用更高性能的拟合函数：使用collapse包的flm函数拟合线性模型，性能优于fastLm，且原生支持公式、data.table输入，输出对象为lm类可直接传入waldtest。
• 优化批量执行逻辑：用data.table的分组运算、vapply等向量化执行方式代替显式for循环，减少循环开销。

内容的提问来源于stack exchange，提问作者Saurabh