R语言arrow包：write_parquet与write_dataset输出文件大小差异疑问

我有一个约750MB（550万行）的表格，计划从RDS格式转为Parquet以实现跨语言支持。使用arrow::write_parquet()生成的Parquet文件约为50MB，但用arrow::write_dataset()生成的数据集约为600MB，两者均采用默认的"snappy"压缩方式，疑惑为何大小差距如此之大。

使用的代码如下：

arrow::write_parquet(
  dta,
  file.path(outpath, "data.parquet"),
  compression = "snappy"
)

arrow::write_dataset(
  dta,
  file.path(outpath, "dataset"),
  hive_style = FALSE,
  compression = "snappy"
)

核心原因分析 #

两者大小差异的本质是默认处理逻辑的不同，主要体现在以下两点：

• 行组/文件分片策略：write_parquet默认将整个数据集写入单个文件，形成一个大的行组（Row Group）。Snappy这类压缩算法对大体积连续数据的压缩效率更高，能充分利用数据重复度实现高压缩比。而write_dataset默认会自动拆分数据为多个小文件/行组，每个小文件的数据量有限，压缩算法无法发挥最大效能，同时多个文件的元数据开销也会累积，导致总大小剧增。

• 编码优化选项默认值差异：write_parquet默认会对适合的列（如字符串列）启用字典编码（Dictionary Encoding），这能大幅降低重复值的存储空间；而write_dataset默认未开启该优化，进一步拉低了压缩效果。

解决办法 #

通过调整write_dataset的参数，让其处理逻辑向write_parquet对齐，即可缩小大小差距：

1. 强制生成单个文件：设置max_rows_per_file为数据集总行数，让所有数据写入同一个文件，保证行组足够大：

arrow::write_dataset(
  dta,
  file.path(outpath, "dataset"),
  hive_style = FALSE,
  compression = "snappy",
  max_rows_per_file = nrow(dta)
)

2. 显式启用字典编码：对重复率高的列（如分类、字符串列）开启字典编码，进一步提升压缩比：

arrow::write_dataset(
  dta,
  file.path(outpath, "dataset"),
  hive_style = FALSE,
  compression = "snappy",
  max_rows_per_file = nrow(dta),
  parquet_args = list(dictionary_encode = TRUE)
)

3. 调整文件大小阈值：如果需要保留多文件分片但想提升压缩效率，可设置max_bytes_per_file为较大值（如1GB），减少小文件数量，平衡分片需求与压缩效率。

经过上述调整后，生成的数据集大小会接近write_parquet的结果，同时保留write_dataset的灵活读取能力。

内容的提问来源于stack exchange，提问作者John Ioannides