在R的sparklyr中对Spark DataFrame可变列按id聚合求和的简便方法

嘿，这个场景我太熟悉了——手动列每一列确实太麻烦，尤其是列数可变的时候！好在sparklyr结合dplyr的新特性，有几个非常简洁的实现方式：

方法1：按数据类型筛选列（精准匹配需求） #

因为你提到除了id列之外，其余都是double类型，那可以用across()配合where(is.double)来批量处理这些列：

library(sparklyr)
library(dplyr)

# 按id分组，对所有double类型列求和
df <- df %>% 
  group_by(id) %>% 
  summarize(across(where(is.double), sum))

这个写法会自动识别所有double类型的列，把sum函数应用到每一列上，完全不用手动列列名。

方法2：直接排除id列（更直观） #

如果确定除了id之外的所有列都需要汇总，不管类型（当然你的场景里都是double），可以直接用-id来指定要处理的列：

df <- df %>% 
  group_by(id) %>% 
  summarize(across(-id, sum))

这个写法更直白，直接告诉dplyr：除了id列，剩下的所有列都执行求和操作。

额外小提示 #

across()的灵活性很强，如果之后需要对不同列做不同聚合，还可以这么写：

# 对部分列求和，另一部分求均值
df <- df %>% 
  group_by(id) %>% 
  summarize(
    across(c(col1, col2), sum),
    across(c(col3, col4), mean)
  )

或者给聚合后的列加后缀，让结果更清晰：

df <- df %>% 
  group_by(id) %>% 
  summarize(across(-id, sum, .names = "{col}_sum"))

这样汇总后的列名会变成x_sum、y_sum这种格式，方便后续区分原列和聚合结果。

这些写法都能被sparklyr完美转换成Spark的底层操作，不用担心性能问题，和手动写每一列的执行效率是完全一致的！

内容的提问来源于stack exchange，提问作者user2345448