如何在不加载全量数据时，基于Arrow表索引为Parquet数据集新增列？

要在Arrow Parquet数据集上实现类似z[x]的索引映射，同时避免加载全表到内存，可通过以下两种方式实现，二者均利用Arrow的查询下推能力，仅处理必要的数据块：

方法1：使用dplyr::recode实现值映射 #

将向量z转换为命名向量，通过recode函数完成映射，该操作会被Arrow下推到Parquet文件层面执行，无需加载全表：

library(arrow)
library(dplyr)

# 定义映射向量，命名对应x的取值
z <- c(11,12,13)
names(z) <- as.character(1:3)

# 打开Parquet数据集
ds <- open_dataset("dt.parquet")

# 生成新列（延迟计算，未加载全表）
result <- ds %>%
  mutate(z = recode(x, !!!z))

# 按需加载部分数据验证结果（而非全表）
result %>% collect()

方法2：通过关联小映射表实现 #

创建包含x与对应z值的小型映射表，转换为Arrow表后与原数据集做左连接。由于映射表体积极小，不会占用过多内存，且Arrow会优化连接操作，仅处理必要的Parquet文件块：

library(arrow)
library(dplyr)

# 创建小型映射表
map_df <- tibble(x = 1:3, z = c(11,12,13))
map_arrow <- arrow_table(map_df)

# 打开原Parquet数据集
ds <- open_dataset("dt.parquet")

# 左连接生成新列（全程延迟计算）
result <- ds %>%
  left_join(map_arrow, by = "x")

# 查看结果或写入新Parquet文件
result %>% collect()
# 写入新文件，无需加载全表
write_dataset(result, "dt_with_z.parquet")

原代码报错原因 #

原代码中cbind(z = z[x])报错，是因为Arrow表的列是延迟计算对象，未加载到内存时无法被R基础向量操作直接引用。上面的两种方法均使用Arrow支持的延迟计算接口，确保操作在Arrow引擎内部执行，避免全表加载。

内容的提问来源于stack exchange，提问作者julien.leroux5