R语言中如何分块追加写入大体积原始二进制数据到磁盘？

你遇到的这个问题确实是R早期版本（包括你使用的3.4.2、3.5）里writeBin的一个限制——它没法直接处理超过2GB的单个长二进制向量。不过我们可以通过打开二进制追加模式的文件连接，分块写入的方式解决，完全不需要先读取磁盘上已有的文件内容。

核心解决方案：用文件连接实现分块追加写入 #

R没有直接提供appendBin函数，但我们可以手动控制文件连接的模式来实现追加逻辑。具体步骤很清晰：

1. 以二进制追加模式打开目标文件的连接；
2. 把大raw向量拆成多个不超过2GB的小块，循环写入这个连接；
3. 所有块写完后关闭连接。

下面是修改后的可运行代码：

large_file <- raw(1024 * 1024 * 1024 * 2) # 2GB的raw向量
chunk_size <- 1024 * 1024 * 512 # 选512MB作为块大小，只要小于2GB都可以
n_chunks <- ceiling(length(large_file) / chunk_size)

# 打开二进制追加模式的文件连接，文件不存在会自动创建
con <- file("test.bin", open = "ab")

for (i in 1:n_chunks) {
  start_byte <- ((i - 1) * chunk_size) + 1
  # 用min确保最后一块不会超出向量长度
  end_byte <- min(start_byte + chunk_size - 1, length(large_file))
  this_chunk <- large_file[start_byte:end_byte]
  
  # 将当前块写入连接
  writeBin(this_chunk, con)
}

# 务必关闭连接，避免资源泄漏
close(con)

关键细节说明 #

• file("test.bin", open = "ab")："ab"是二进制追加模式，既可以创建新文件，也能在已有文件末尾直接追加数据，完全不会覆盖原有内容；
• chunk_size的选择：只要单个块的长度不超过2^31 - 1（也就是2GB减1字节）就不会触发原报错，选512MB是平衡写入效率和内存占用的折中方案；
• 循环里的min处理：保证最后一个块不会因为向量长度不是chunk_size的整数倍而出现索引越界问题。

验证结果 #

你可以运行file.info("test.bin")$size检查最终文件大小，应该正好是2GB（2*1024*1024*1024字节），整个过程也不会再抛出"long vectors not supported yet"的错误。

内容的提问来源于stack exchange，提问作者Felipe D.