在R中仅计算逻辑回归系数MLE的高效实现方法问询

主问题：高效省内存的自助法实现 #

针对1亿条观测、10-15个参数的场景，结合你目前使用fastglm(, method=3)的情况，可通过以下方式优化：

• 简化拟合输出，即时释放内存：fastglm默认会返回模型拟合的额外信息（如残差、拟合值），你可以仅提取系数后立刻丢弃整个模型对象，减少单轮回归的内存占用。示例：

  boot_coef <- fastglm(X[boot_idx, ], y[boot_idx], family = your_family, method = 3)$coefficients
  

  每次拟合后执行gc()强制垃圾回收，释放临时占用的内存。
• 增量式自助迭代：不要一次性生成所有自助样本，而是单轮迭代生成一个样本、拟合、保存系数、清理内存。预先分配好存储系数的矩阵，避免动态扩容的内存开销：

  # 预先分配结果矩阵
  boot_results <- matrix(NA, nrow = 200, ncol = ncol(X))
  for (i in 1:200) {
    boot_idx <- sample(nrow(X), replace = TRUE)
    boot_coef <- fastglm(X[boot_idx, ], y[boot_idx], family = your_family, method = 3)$coefficients
    boot_results[i, ] <- boot_coef
    gc() # 强制回收内存
  }
  

• 共享内存并行：避免传统并行中每个进程复制全量数据的内存浪费，使用bigmemory包将X矩阵存储为磁盘共享内存对象，让所有并行进程共享访问。配合foreach/doParallel或future框架，每个进程仅加载自助样本对应的行，而非全量数据。
• 分块数据处理：如果数据以分块文件存储（如多个CSV），每次仅加载一个块生成自助样本，避免全量数据常驻内存。需确保自助抽样的随机性覆盖所有数据块。

附问：GLM算法切换（牛顿-拉夫逊法） #

• base R的glm()仅支持IRWLS算法，无内置参数切换到牛顿-拉夫逊法。
• 你当前使用的fastglm(method=3)本质是带Cholesky分解的牛顿法变种，已经是比原生牛顿法更高效的实现。若需纯牛顿法，可设置fastglm(method=2)，但速度会慢于method=3。
• 若要手动实现牛顿-拉夫逊法，可使用stats4::mle()自定义对数似然函数，并指定method="Newton-Raphson"，但需针对大规模数据优化似然函数的计算效率（如向量化操作）。

内容的提问来源于stack exchange，提问作者Kevin M