处理约50亿行两列DataFrame遇R行数上限问题求解决方案

你遇到的是R基础data.frame的32位整数行数限制问题——基础数据结构无法支持超过2^31-1行的数据集，以下是可行的解决办法：

• 使用data.table包创建大尺寸数据集
  data.table原生支持64位索引，能突破2^31行的限制，且内存效率更高。示例代码：

  library(data.table)
  # 创建50亿行的两列数据集，根据实际数据类型调整向量类型
  large_dt <- data.table(
    col1 = vector("numeric", 5e9),
    col2 = vector("character", 5e9)
  )
  

  注意：需确保系统有足够内存（比如一列numeric类型50亿行约占40GB内存）。

• 分块处理数据
  若内存不足以加载全部数据，可采用分块读取、处理的方式。比如从文件读取时，用data.table::fread设置nrows和skip参数分批读取，或用readr::read_csv_chunked配合回调函数逐块处理：

  library(data.table)
  # 假设数据存在csv文件中，每次读取1000万行
  chunk_size <- 1e7
  total_rows <- 5e9
  for (i in seq(0, total_rows, chunk_size)) {
    chunk <- fread("your_data.csv", skip = i, nrows = min(chunk_size, total_rows - i))
    # 在这里处理当前块的数据
  }
  

• 使用磁盘映射类包（ff/bigmemory）
  这类包将数据存储在磁盘上，通过内存映射访问，无需加载全部数据到内存：

  • ff包支持类DataFrame的大对象：

    library(ff)
    large_ffdf <- ffdf(
      col1 = ff(vmode = "double", length = 5e9),
      col2 = ff(vmode = "character", length = 5e9)
    )
    

  • bigmemory包适用于矩阵型大数据，若你的数据是数值型为主，也可以考虑。

• 确认64位运行环境
  所有上述方案都依赖64位R和64位操作系统，先检查R版本：

  .Machine$sizeof.pointer
  

  返回8则说明是64位R，若返回4需切换到64位版本。

内容的提问来源于stack exchange，提问作者Jaime