使用R的Arrow包写入分区Parquet文件的方法（无Spark本地环境）

1. 安装依赖包 #

如果还未安装所需依赖，先执行安装：

install.packages("arrow")
install.packages("data.table")

2. 执行分区写入 #

无需依赖Spark，直接用arrow包内置的write_dataset函数即可完成本地分区写入，操作代码如下：

library(arrow)
library(data.table)

# 此处替换为你自己的DataTable对象名，示例假设对象名为dt
# Windows路径注意用正斜杠，或者对反斜杠做转义（写成"D:\\Events"），避免转义字符报错
write_dataset(
  x = dt,
  path = "D:/Events",
  format = "parquet",
  partitioning = c("Device", "Month"),
  # 可选配置：如果目标目录已存在，设置为"overwrite"会覆盖同分区旧数据，默认是"error"避免误删
  existing_data_behavior = "overwrite"
)

3. 写入效果说明 #

写入完成后会自动生成Hive风格的分区目录结构，根目录下按Device取值生成一级子目录，每个一级子目录下再按Month取值生成二级子目录，最终parquet文件存储在对应二级目录中，后续读取时可以直接用open_dataset函数按分区字段筛选数据。

注意事项 #

• 分区列Device和Month的取值不要包含/ \ : * ? " < > |这类Windows系统不允许的文件夹命名字符，避免写入报错
• 大体积数据集arrow会自动分块写入，无需额外配置参数

内容的提问来源于stack exchange，提问作者khidir sanosi