如何在arrow::open_dataset与dplyr中用tidy eval编写传字符串列名的函数

问题原因 #

你的代码报错是因为Arrow的open_dataset返回懒计算的磁盘/分布式数据集，它无法解析.data[[.metric]]这种运行时字符串索引语法——该语法仅适用于内存数据框，而Arrow需要dplyr传递可被查询引擎识别的表达式。

高效解决方案（无需提前collect） #

以下两种方法均保留Arrow懒计算特性，性能与直接编写dplyr代码一致：

方法1：tidy eval标准写法（ensym + !!） #

将字符串参数转为符号，再解引用生成Arrow可识别的表达式：

library(dplyr)

# 准备测试数据
arrow::write_parquet(ggplot2::mpg, "sample_data.parquet")
dat <- arrow::open_dataset("sample_data.parquet")

get_metric <- function(.data, .metric) {
  .metric_sym <- ensym(.metric)
  
  .data %>%
    group_by(manufacturer, cyl) %>% 
    summarize(new_col = sum(!!.metric_sym, na.rm = TRUE)) %>% 
    ungroup()
}

# 调用示例（collect触发实际计算）
get_metric(dat, "cty") %>% collect()

方法2：现代简洁写法（across + all_of） #

across()配合all_of()可直接接收字符串列名，天然兼容Arrow：

get_metric <- function(.data, .metric) {
  .data %>%
    group_by(manufacturer, cyl) %>% 
    summarize(new_col = sum(across(all_of(.metric)), na.rm = TRUE)) %>% 
    ungroup()
}

get_metric(dat, "cty") %>% collect()

原替代方案性能差的原因 #

collect()会将整个数据集加载至内存，数据量较大时会大幅增加内存开销与计算时间。上述方案均在Arrow查询引擎层面完成聚合，仅将最终结果加载到内存，避免了不必要的数据转移。

内容的提问来源于stack exchange，提问作者Avery Robbins