如何在R中用Arrow/Parquet格式存储多维数组至磁盘

Arrow的write_feather()和write_parquet()仅支持表格类对象（如data.frame、Arrow Table），不直接兼容多维数组，这是你报错的核心原因。但可以通过保留维度元数据+扁平化数组的方式实现跨平台存储，具体步骤如下：

1. 存储多维数组 #

核心思路是把数组拆成「扁平化的数值数据」和「维度信息（dim、dimnames）」，分别或打包存储为Arrow支持的结构：

方法1：分开存储数据与元数据 #

适合高维数组，结构清晰：

library(arrow)
library(tibble)

# 示例：创建一个10维数组（用3维简化演示，高维逻辑完全一致）
set.seed(123)
multi_array <- array(
  rnorm(2*3*4*5*6*7*8*9*10*11), # 10维长度乘积的随机数
  dim = c(2,3,4,5,6,7,8,9,10,11),
  dimnames = lapply(1:10, function(i) letters[1:dim(multi_array)[i]])
)

# 扁平化数组为向量，转成表格
array_data <- tibble(values = as.vector(multi_array))
# 存储维度和维度名称元数据
array_metadata <- tibble(
  dim = list(dim(multi_array)),
  dimnames = list(dimnames(multi_array))
)

# 写入Parquet文件（Feather格式同理，替换为write_feather）
write_parquet(array_data, "array_data.parquet")
write_parquet(array_metadata, "array_metadata.parquet")

方法2：打包为Arrow Struct对象存储 #

把数据和元数据打包成单个Struct结构，存储为单个文件：

library(arrow)

# 构造包含完整信息的Struct
array_struct <- struct(
  values = as.vector(multi_array),
  dim = dim(multi_array),
  dimnames = dimnames(multi_array)
)

# 转成Arrow Table并写入
arrow_table <- arrow_table(array_struct)
write_parquet(arrow_table, "multi_array_struct.parquet")

2. 读取并还原多维数组 #

读取存储的文件后，用元数据还原数组结构：

对应方法1的读取代码 #

# 读取数据和元数据
read_data <- read_parquet("array_data.parquet")$values
read_metadata <- read_parquet("array_metadata.parquet")

# 还原数组
restored_array <- array(
  read_data,
  dim = read_metadata$dim[[1]],
  dimnames = read_metadata$dimnames[[1]]
)

# 验证还原是否正确
identical(multi_array, restored_array)

对应方法2的读取代码 #

# 读取Struct格式的文件
read_table <- read_parquet("multi_array_struct.parquet")

# 还原数组
restored_array <- array(
  read_table$values[[1]],
  dim = read_table$dim[[1]],
  dimnames = read_table$dimnames[[1]]
)

# 验证还原是否正确
identical(multi_array, restored_array)

关键说明 #

• 无论数组维度多少，该方法都适用：维度信息dim是整数向量，dimnames是列表，扁平化后的向量长度为各维度长度的乘积，存储效率与原数组一致。
• Parquet/Feather均为跨平台格式，可在Python、Java等其他语言中读取后还原数组（只需解析对应的维度元数据即可）。
• 数组中的NA值会被Arrow正确保留，无需额外处理。

内容的提问来源于stack exchange，提问作者pglpm