R字符字符串受限于2^31-1字节，大base64文件处理如何解决？

问题根源是R单个字符串的大小限制为2^31-1字节，你的Base64编码后的数据超过了这个阈值，无法一次性读取为单个字符串。必须通过分块读取、分块解码、分块写入的方式处理。

具体实现步骤 #

1. 保留原有的API请求与文件下载逻辑（已将数据写入临时文件tmp）
2. 分块读取临时文件中的Base64内容，避免一次性加载整个字符串
3. 对每一块Base64数据进行解码
4. 将解码后的二进制数据追加写入目标文件

代码示例 #

library(httr2)
library(openssl) # 或 base64enc，二选一即可

# 原有的API请求逻辑不变
req <- request(test_datapull_API) |> 
  req_headers('Content-Type' = 'application/json', 'Cookie' = sprintf('token=%s; username=%s', token, input$user_id)) |> 
  req_body_json(call_body)

tmp <- tempfile()
req_perform(req, path = tmp)

# 定义分块参数：每次读取的字符数（建议为4的倍数，符合Base64编码规则）
chunk_size <- 1048576 * 4 # 4MB字符块，对应解码后3MB二进制数据

# 打开临时文件和输出文件
input_conn <- file(tmp, "r")
output_file <- "decoded_large_file.bin" # 替换为你的目标文件路径
output_conn <- file(output_file, "wb")

tryCatch({
  while(TRUE) {
    # 分块读取Base64字符串，自动跳过换行符
    chunk <- readLines(input_conn, n = 1)
    if(length(chunk) == 0) break # 读取完毕
    
    # 移除可能存在的换行符（有些API返回的Base64会带换行）
    chunk <- gsub("\\r|\\n", "", chunk)
    
    # 分块解码并写入文件
    decoded_chunk <- base64_decode(chunk)
    writeBin(decoded_chunk, output_conn)
  }
}, finally = {
  # 确保连接关闭
  close(input_conn)
  close(output_conn)
})

关键说明 #

• 分块大小选择：建议选择4的倍数作为分块字符数，因为Base64每4个字符对应3个二进制字节，避免截断导致解码错误。如果API返回的Base64是无换行的长字符串，也可以用readBin读取固定字节数的字符：chunk <- readBin(input_conn, "character", n = chunk_size)
• 换行处理：部分API返回的Base64会插入换行符（每76个字符换行），必须先移除这些换行符再解码，否则会报错
• 内存效率：分块处理只会在内存中保留当前块的数据，不会加载整个2GB+的字符串，完全适配你的Docker环境
• 库选择：openssl::base64_decode和base64enc::base64decode都支持分块解码，功能一致，任选其一即可

内容的提问来源于stack exchange，提问作者Grzegorz Piotr