为何data.table中.SD直接数字索引比变量索引更快？

性能差异原因 #

data.table的核心优势在于底层优化的分组操作，这里的性能差距完全源于优化器的处理逻辑：

• 当使用.SD[1]这类字面量数字索引时，data.table的GForce优化器能直接识别出你要提取每个分组的第N行，会生成高效的C级代码直接定位目标行，全程不需要为每个分组生成完整的.SD（分组内全量数据），所以百万级数据也能秒级完成。
• 但换成.SD[number_var]这种变量索引时，data.table无法提前判断变量是标量还是向量，会 fallback 到逐组处理逻辑：为每个分组完整创建.SD对象，再从中提取指定位置的元素。这个过程会产生大量内存分配和循环开销，直接导致性能暴跌。

解决方法 #

以下几种方案都能让变量索引的性能回归到接近字面量的水平：

1. 用..前缀引用全局变量 #

..是data.table的特殊语法，用来明确告诉优化器：这个变量来自全局环境，是一个标量。这样优化器就能复用字面量索引的高效逻辑：

number_var <- 1
agg_dt <- dt[ , .SD[..number_var], by = customer_id]

2. 使用head()函数（适合取前N行场景） #

如果你的需求是提取每个分组的前N行，head(.SD, number_var)会触发data.table的专属优化，性能和字面量索引几乎一致：

number_var <- 1
agg_dt <- dt[ , head(.SD, number_var), by = customer_id]

3. 直接通过分组索引定位（性能最优） #

手动获取每个分组目标行的位置，直接提取数据，这是最底层也最快的方式：

number_var <- 1
# 获取每个分组第number_var行的全局索引
target_idx <- dt[ , .I[number_var], by = customer_id]$V1
agg_dt <- dt[target_idx]

内容的提问来源于stack exchange，提问作者Keith Cooper