Arrow R包读取Parquet文件遇大小限制错误，如何读取该文件？

报错信息 #

Error in `open_dataset()`:
! IOError: Error creating dataset. Could not read schema from 'path/example.parquet'. 
Is this a 'parquet' file?: 
Could not open Parquet input source 'path/example.parquet':
Couldn't deserialize thrift: TProtocolException: Exceeded size limit

问题核心 #

当Parquet文件的Schema被过度冗余的属性占用时，有没有办法读取这类文件？常见场景是生成文件的脚本丢失、重新生成规范文件成本太高。试过用分区选项，但不管分多少变量，报错依然存在。

复现代码 #

library(arrow)
library(data.table)
# 设置随机种子
set.seed(1L)
# 创建大体积data.table
dt = data.table(x = sample(1e5L, 1e7L, TRUE), y = runif(100L)) 
# 保存为可正常读取的parquet文件
write_parquet(dt, "example_ok.parquet")
# 正常读取
dt_ok <- open_dataset("example_ok.parquet")
# 执行简单过滤
dt[x == 989L]
# 再次保存后读取报错
write_parquet(dt, "example_error.parquet")
# 触发报错
dt_error <- open_dataset("example_error.parquet")

可行解决方法 #

• 放宽Thrift序列化大小限制：Arrow默认的Thrift消息大小限制不足以处理大Schema文件，加载arrow包前设置环境变量调高限制：

  Sys.setenv(ARROW_THRIFT_MAX_MESSAGE_SIZE = "1073741824") # 设为1GB，可按需调整
  library(arrow)
  dt_error <- open_dataset("example_error.parquet")
  

• 用read_parquet替代open_dataset：open_dataset主要用于处理多文件数据集，read_parquet是直接读取单个Parquet文件，处理Schema的逻辑不同，可能绕过限制：

  dt_error <- read_parquet("example_error.parquet")
  

• 分块读取文件：通过行组分块读取，降低单次处理的Schema负载：

  reader <- ParquetFileReader$create("example_error.parquet")
  dt_list <- list()
  chunk_size <- 10000
  for (i in 0:(reader$num_row_groups() - 1)) {
    chunk <- reader$read_row_group(i, chunk_size)
    dt_list[[i+1]] <- as.data.table(chunk)
  }
  dt_error <- rbindlist(dt_list)
  reader$close()
  

• 精简Parquet文件Schema：用Parquet工具（如parquet-tools）查看并清理冗余的Schema属性，重新生成规范文件：

  # 查看当前Schema
  parquet-tools schema example_error.parquet
  # 清理冗余元数据后重新保存
  

内容的提问来源于stack exchange，提问作者cravetheflame