如何在Arrow中通过字符串指定列名，在collect前完成数据汇总？

你遇到的问题非常典型——当处理超大规模数据集时，必须在Arrow引擎层面完成计算，绝对不能先把数据拉到R内存里。常规dplyr里用across(all_of(x))的方法在Arrow里行不通，原因是Arrow的表达式解析逻辑和原生dplyr有差异，无法正确识别这种方式传递的列名，反而会触发数据回拉到R的操作（这正是我们要避免的）。

这里有两种可靠的解决方案，都能在Arrow层面完成汇总计算，完全不用加载全量数据：

方法1：使用rlang::sym()进行非标准求值 #

把字符串形式的列名转换成符号，再通过!!（强制求值）传入summarise，让Arrow能正确识别列引用：

library(arrow)
library(dplyr)
library(rlang)

foo_arrow <- function(x){
  # 将字符串列名转为Arrow可解析的符号
  col_symbol <- sym(x)
  arrow_table(mtcars) %>% 
    summarise(mean_mpg = mean(!!col_symbol)) %>% 
    collect()
}

# 测试调用
foo_arrow("mpg")

运行结果：

# A tibble: 1 × 1
  mean_mpg
     <dbl>
1     20.1

方法2：使用summarise_at()（Arrow兼容的批量汇总函数） #

summarise_at()是dplyr中专门用于批量处理列的函数，它可以直接接受字符串向量作为列名参数，完美适配Arrow的离线计算逻辑：

library(arrow)
library(dplyr)

foo_arrow <- function(x){
  arrow_table(mtcars) %>% 
    summarise_at(vars(all_of(x)), mean) %>% 
    collect()
}

# 测试调用
foo_arrow("mpg")

运行结果：

# A tibble: 1 × 1
    mpg
  <dbl>
1  20.1

为什么原来的across()方法不行？ #

Arrow的dplyr接口对across()的支持还存在局限性，当结合all_of()传递字符串列名时，Arrow的表达式引擎无法正确解析这个引用，会错误地认为列不存在，进而触发“将数据拉到R中处理”的 fallback 逻辑——这正是你看到警告和错误的原因。而上面两种方法都是直接向Arrow传递可解析的列引用，确保计算完全在Arrow引擎中完成，不会占用R内存加载全量数据。

内容的提问来源于stack exchange，提问作者Dan