在R的map函数中使用Apache Arrow或DuckDB的报错问题求助

我正在使用Apache Arrow包分析以Hive分区Parquet格式存储的大型数据集。由于数据无法全部加载到内存，我尝试用map函数（后续会改用future_map实现并行）分块处理，但在map调用内使用Arrow数据集函数时持续报错。

可复现代码 #

library(arrow)
library(tidyverse)
library(duckdb)

# 加载颜色数据集
data(diamonds)
colors = diamonds$color %>% unique()

# 将数据写入Hive分区数据集
diamonds %>%
  write_dataset(path = 'diamonds', partitioning = c('color', 'clarity'))
rm(diamonds)

# 用Arrow加载并转换为DuckDB表
diamonds = open_dataset('diamonds') %>%
  to_duckdb()

# 验证单条件过滤正常（输出color为E的表）
diamonds %>% filter(color == "E") 

# 尝试按颜色拆分获取各表
colors %>%
  map(function(x) {
    diamonds %>%
      filter(color == x) %>%
      collect()
  })

转换为DuckDB时的错误信息 #

Error in `map()`:
ℹ In index: 1.
Caused by error in `collect()`:
! Failed to collect lazy table.
Caused by error:
! rapi_execute: Failed to run query
Error: Conversion Error: Could not convert string 'D' to DOUBLE
LINE 3: WHERE (color = x)

不转换为DuckDB时的错误信息 #

Error in `map()`:
ℹ In index: 1.
Caused by error in `compute.arrow_dplyr_query()`:
! NotImplemented: Function 'equal' has no kernel matching input types (string, double)

核心原因 #

错误源于变量作用域与类型识别问题：在map的匿名函数中，变量x未被正确识别为字符串类型，反而被解析为数值类型，而color字段是字符串类型，导致类型不兼容的匹配错误。

方法1：使用.env代词明确引用外部变量 #

在filter中通过.env$x直接引用外部环境的x，确保Arrow/DuckDB正确识别其字符串类型：

colors %>%
  map(function(x) {
    diamonds %>%
      filter(color == .env$x) %>%
      collect()
  })

方法2：利用Arrow分区筛选优化性能 #

由于数据集按color分区，直接针对分区筛选无需扫描全量数据，效率更高：

colors %>%
  map(function(x) {
    open_dataset('diamonds', partitioning = c('color', 'clarity')) %>%
      filter(color == x) %>%
      collect()
  })

这种方式会直接加载对应color的分区文件，大幅降低内存占用与处理时间，尤其适合超大型数据集。

方法3：强制转换x为字符串类型 #

通过as.character()确保x是字符串，避免类型识别偏差：

colors %>%
  map(function(x) {
    diamonds %>%
      filter(color == as.character(x)) %>%
      collect()
  })

内容的提问来源于stack exchange，提问作者D Greenwood