如何在R中高效按分块对DataFrame应用GLM预测函数？

你当前的循环+rbind方案效率低的核心原因是：每次循环拼接都会复制整个已生成的数据框，随着数据量累积，复制成本会越来越高。以下是几种更高效的实现方式：

方案1：基础R实现（无需额外包） #

先通过lapply批量处理所有分块，生成带预测列的子数据框列表，最后一次性合并：

# 生成数据分块
data_blocks <- split(data, factor(sort(rank(row.names(data))%%10)))

# 批量处理每个分块，添加预测列
predicted_blocks <- lapply(data_blocks, function(sub_df) {
  sub_df$prediction <- predict(model, sub_df, type = "response")
  sub_df
})

# 一次性合并所有分块
df <- do.call(rbind, predicted_blocks)

方案2：data.table实现（超大数据首选） #

data.table的rbindlist合并效率远高于基础R的rbind，且支持按组直接处理：

library(data.table)

# 转换为data.table格式
dt <- as.data.table(data)

# 添加分组标识（和原逻辑一致）
dt[, group := factor(sort(rank(.I))%%10)]

# 按组批量生成预测列
dt[, prediction := predict(model, .SD, type = "response"), by = group]

# 可选：删除分组列
dt[, group := NULL]

方案3：dplyr+purrr实现（语法更简洁） #

借助tidyverse工具链的分组拆分+映射+合并，代码可读性更强：

library(dplyr)
library(purrr)

df <- data %>%
  # 添加分组标识
  mutate(group = factor(sort(rank(row.names(.)))%%10)) %>%
  # 按组拆分数据
  group_split(group) %>%
  # 对每个分块添加预测列
  map(function(sub_df) {
    sub_df %>% mutate(prediction = predict(model, ., type = "response"))
  }) %>%
  # 合并所有分块
  bind_rows() %>%
  # 可选：删除分组列
  select(-group)

这些方案的核心优势是：仅在最后一步执行一次合并操作，避免了循环中反复复制大对象的内存开销，同时保持分块处理的内存友好性。

内容的提问来源于stack exchange，提问作者Anja Krause