R中如何高效使用cross_df或expand.grid绕过向量分配大小限制

两个长度为10万的向量做全组合会生成100亿行数据，仅存储两列整数就需要至少70G以上的内存空间，远超普通消费级电脑的内存上限，因此直接在内存中生成完整数据集必然会触发内存分配报错，逐块拼接的方案也会因为内存占用持续攀升、IO开销过大导致运行速度极慢。

方案1：分块处理，不生成完整全量数据集 #

绝大多数场景下，生成全组合的最终目的是对每组坐标做后续计算，完全可以按x的取值拆分成多个小批次处理，处理完成后直接输出结果或写入硬盘，不需要将所有数据拼合后存储在内存中。
示例代码：

# 分块计算示例
library(tidyverse)
x <- 1:100000
y <- 1:100000

# 自定义需要对每块组合执行的运算
process_block <- function(long_val) {
  # 仅生成当前批次的组合，内存占用仅几十MB
  block <- tibble(long = long_val, lat = y)
  # 此处插入你的业务逻辑，比如统计、计算特征等
  block <- block %>% mutate(val = long * lat)
  # 结果直接写入硬盘，不驻留内存
  write_csv(block, paste0("output/block_", long_val, ".csv"))
  # 清空内存
  rm(block)
  gc()
  return(NULL)
}

# 批量执行
dir.create("output", showWarnings = F)
walk(x, process_block)

方案2：必须生成全量数据集时，直接写入硬盘 #

如果确实需要完整的全组合表，直接将每批次生成的数据追加写入硬盘文件，全程仅保留单批次数据在内存中，避免内存溢出。推荐使用data.table做写入操作，速度比tidyverse系列函数高3-5倍。
示例代码：

library(data.table)
x <- 1:100000
y <- 1:100000

# 打开文件连接，先写入表头
con <- file("full_coords.csv", "w")
writeLines("long,lat", con = con)

# 逐块追加写入
for (i in x) {
  dt <- data.table(long = i, lat = y)
  fwrite(dt, file = con, append = T, col.names = F)
  rm(dt)
  gc()
}
close(con)

如果后续需要查询使用全量数据，推荐使用Arrow格式存储，支持按条件读取部分数据，无需全量加载到内存：

library(arrow)
library(tidyverse)

dir.create("coords_parquet", showWarnings = F)
# 逐块写入parquet数据集
walk(x, function(i) {
  block <- tibble(long = i, lat = y)
  write_parquet(block, paste0("coords_parquet/block_", i, ".parquet"))
  rm(block)
  gc()
})

# 后续查询示例，仅加载需要的部分
ds <- open_dataset("coords_parquet")
# 比如只查询long在1到100之间的组合
res <- ds %>% filter(long >=1, long <=100) %>% collect()

额外优化建议 #

如果你的业务逻辑允许对全组合做过滤，可在生成块时直接加过滤条件，大幅减少数据量：比如仅需要long < lat的组合，在块生成后直接过滤，总数据量可减少一半。

内容的提问来源于stack exchange，提问作者seagull