如何用R的arrow包获取Parquet文件字段级元数据？

问题原因 #

你用open_dataset()得到的是Dataset对象，它的schema是合并后的逻辑结构，默认不会保留单个Parquet文件的字段级元数据，这就是调用$metadata返回NULL的核心原因。而pyarrow读取单个文件时会完整保留字段元数据，因此需要调整R的读取方式。

解决方案 #

方案1：直接读取单个Parquet文件（单文件场景适用） #

用read_parquet()替代open_dataset()，直接读取S3上的目标文件，就能获取完整的字段元数据：

library(arrow)

# 直接读取S3中的单个Parquet文件
data_parquet <- read_parquet("s3://rimrep-data-public/abs-regional-lga-2021/data.parquet")

# 获取所有字段的元数据
all_field_metadata <- lapply(data_parquet$schema$fields, function(field) field$metadata)

# 获取指定字段（比如DATAFLOW）的元数据
dataflow_metadata <- data_parquet$schema$fields$DATAFLOW$metadata

运行后可以用str(dataflow_metadata)查看元数据的具体结构，确认是否包含描述、单位等信息。

方案2：遍历数据集内的所有文件（多文件数据集适用） #

如果目标路径下有多个Parquet文件组成数据集，需要逐个读取文件来提取元数据：

library(arrow)

# 连接到S3桶
data_bucket <- s3_bucket("s3://rimrep-data-public/abs-regional-lga-2021/")

# 列出桶内所有Parquet文件
parquet_files <- list.files(data_bucket, pattern = "\\.parquet$", full.names = TRUE)

# 遍历每个文件，提取字段元数据
all_file_metadata <- lapply(parquet_files, function(file_path) {
  single_file <- read_parquet(file_path)
  lapply(single_file$schema$fields, function(field) field$metadata)
})

补充说明 #

如果读取后仍看不到预期的元数据，可以检查元数据的存储键——pyarrow中部分元数据可能会用特定前缀（比如ARROW:），你可以用names(dataflow_metadata)查看所有元数据键，再针对性提取对应内容。

内容的提问来源于stack exchange，提问作者lidefi87