R语言data.table中lapply分组聚合比硬编码慢的原因是什么？

核心差异来自GForce优化的触发条件不同 #

data.table对分组聚合做了专属的C层面极速优化（官方命名为GForce），但这套优化有严格的触发条件，两种写法的十几倍性能差，本质就是一个触发了优化、一个完全没触发：

• 硬编码写法自动走GForce快路径
  当你在j位置直接写sum(price)、mean(quantity)这类调用时，语法解析器可以直接识别到你用的是内置支持的基础聚合函数（覆盖sum/mean/min/max/var/sd/length等常用聚合逻辑），会直接启用GForce：整个计算过程完全在C层完成，不需要在R层做分组切分、子表生成、逐组函数调用的操作，直接通过列内存指针+分组索引批量计算结果，开销极低。你测试里硬编码版本1.4秒的耗时就是GForce优化后的正常水平。
• 嵌套匿名函数的lapply写法完全阻断了优化
  你写的lapply(.SD, \(i) sum(i))存在两个拖慢性能的关键问题：
  1. 解析器无法穿透匿名函数识别到内部调用的是sum，直接判定无法启用GForce，所有计算退回R层常规执行路径
  2. 走常规路径时，data.table会为每一个分组实体化生成.SD子数据表，再逐组逐列调用你写的R匿名函数完成计算。你的测试场景第一次分组维度是user+group，分组量接近1000万（生成数据时user从1到1e7有放回抽样，绝大多数分组仅1行数据），千万级分组下，光是构造每个分组.SD子表的内存开销、加上千万次R层匿名函数+sum的调用栈开销，就会把总耗时拉到硬编码版本的十几倍。

对齐性能的优化方法 #

只要去掉lapply里嵌套的匿名函数，直接把内置聚合函数作为参数传入，解析器就能识别到聚合逻辑，正常触发GForce优化，性能会和硬编码版本基本持平：

x <- c('price', 'quantity')
system.time(
df[, lapply(.SD, sum)
   , .SDcols = x
   , .(user, group)
   ][, lapply(.SD, mean)
     , .SDcols = x
     , .(group)
     ]
)

注意：这个优化仅对直接传入GForce支持的内置聚合函数生效，如果传入自定义函数，依然会走R层常规执行路径，性能会出现明显下降。

内容的提问来源于stack exchange，提问作者Sweepy Dodo