R语言从SFTP服务器读取Parquet文件报错问题求助

Parquet是标准二进制存储格式，文件内部本身包含大量0x00（即报错里提到的NUL）字节。getURL()、getURLContent()默认按文本模式读取内容，会尝试把二进制字节转成R字符串，而R字符串不允许嵌入NUL字节，必然触发报错。
getBinaryURL()返回的是raw类型向量，每个元素对应文件的1个字节，打印时显示的50、9c是单字节的十六进制表示，属于二进制读取的正常结果，不是数据损坏。不需要把文件手动下载到本地，直接把内存里的二进制内容喂给arrow解析即可。

按实现效率、维护成本从高到低排序：

方案1：直接用arrow原生SFTP支持（最优） #

arrow包原生支持SFTP文件系统，不需要依赖RCurl，不需要写临时文件，支持批量遍历目录、延迟读取、谓词下推，处理数千个Parquet文件性能最高。

library(arrow)

# 用户名密码认证场景：直接构造带认证信息的文件路径即可读取
sftp_path <- "sftp://your_username:your_password@your_sftp_host:22/target/path/file.parquet"
df <- read_parquet(sftp_path)

# 批量处理场景：显式创建SFTP文件系统连接，支持私钥认证、递归遍历目录
sftp_fs <- SftpFileSystem$create(
  host = "your_sftp_host",
  port = 22,
  user = "your_username",
  # 密码认证填password，私钥认证填key_file参数即可
  password = "your_password",
  # key_file = "/local/path/to/your/private_key"
)

# 递归遍历目标路径下所有文件，筛选parquet后缀
all_files <- sftp_fs$ls_recursive("/target/root_dir", recursive = TRUE)
parquet_files <- all_files[grepl("\\.parquet$", all_files)]

# 直接打开分布式数据集，不需要逐个加载到内存，支持过滤、聚合后再collect
parquet_ds <- open_dataset(
  parquet_files,
  filesystem = sftp_fs,
  format = "parquet"
)

# 需要取数时调用collect即可，支持提前filter、select减少数据传输量
result <- parquet_ds |>
  filter(collect_time >= as.POSIXct("2024-01-01")) |>
  select(col1, col2, col3) |>
  collect()

方案2：复用现有RCurl连接，内存中解析二进制内容 #

如果你的环境里arrow没有编译SFTP支持，可以复用已经调试通的RCurl逻辑，把getBinaryURL()拿到的raw向量包装成内存连接，直接传给read_parquet()解析，全程不需要落盘。

library(RCurl)
library(arrow)

# 用之前已经调试成功的curl配置初始化handle
curl_handle <- getCurlHandle(
  userpwd = "your_username:your_password",
  # 保留之前配置的所有SFTP连接参数，比如私钥路径、端口等
)

# 读取单个parquet文件的二进制内容
file_raw <- getBinaryURL(
  url = "sftp://your_sftp_host/target/path/file.parquet",
  curl = curl_handle
)

# 把raw向量转为内存连接，直接解析为结构化表
df <- read_parquet(rawConnection(file_raw))

# 批量处理时套lapply遍历之前拿到的所有文件路径即可
all_df <- lapply(parquet_file_paths, \(path) {
  raw <- getBinaryURL(url = path, curl = curl_handle)
  read_parquet(rawConnection(raw))
})
# 合并为一张表可以用data.table::rbindlist或者dplyr::bind_rows

方案3：临时文件中转（兼容性最高） #

如果内存连接方式遇到版本兼容问题，可以把二进制内容写入系统临时目录，读取完成后自动删除，不需要手动管理文件。

# 接方案2拿到的file_raw
temp_path <- tempfile(fileext = ".parquet")
writeBin(file_raw, temp_path)
df <- read_parquet(temp_path)
unlink(temp_path) # 读取完成后删除临时文件

• 不要尝试把raw二进制向量转成字符串后再解析，编码转换会损坏Parquet文件结构，必然报错
• 处理数千个文件时优先选方案1，open_dataset()支持只读取需要的列、符合过滤条件的行，比逐个全量下载读取快数倍
• 如果SFTP服务器有连接频率限制，可以在curl handle或者SftpFileSystem配置里调整连接复用参数，避免触发拦截

内容的提问来源于stack exchange，提问作者hanss314