data.table与collapse索引及分组首行性能差异原因探究

问题背景 #

从测试结果来看，collapse在两个核心操作上的性能显著优于data.table：

• collapse的分组索引操作速度远超data.table
• 按分组取首行的效率也比data.table高很多

已确认data.table的GForce功能处于启用状态，但对两个包的底层实现逻辑理解不足，希望能解释性能差异的原因。

测试代码 #

suppressMessages(library(collapse))                                        
suppressMessages(library(data.table))                                      
options(datatable.print.class = TRUE)                                      
options(datatable.print.topn = 3L)                                         

# 数据集构建                                                                  
set.seed(1L)                                                               
n_rics <- 500L; ric <- sprintf("A-%s",1:n_rics)                            
n_dates <- 1000L; date <- as.Date("2015-01-01") + 1:n_dates                
n_values <- 4L                                                             
DT <- CJ(ric, date, value = 1:n_values)[, value := runif(.N)][sample(1:.N)]

## 索引/分组操作测试                                                                

DT1 <- copy(DT)                                                            
system.time({                                                              
    setindex(DT1, date, ric)                                               
})                                                                         
#    user  system elapsed                                                  
#   7.367   0.033   0.750                                                  

DT2 <- copy(DT)                                                            
system.time({                                                              
    DT2 <- fgroup_by(DT2, date, ric, sort = FALSE)                         
})                                                                         
#    user  system elapsed                                                  
#   0.165   0.004   0.169                                                  

## 分组取首行测试                                                          

DT1 <- copy(DT)                                                            
setindex(DT1, date, ric)                                                   
system.time({                                                              
    f1 <- DT1[, .SD[1L], .(date, ric)]                                     
})                                                                         
#    user  system elapsed                                                  
#  16.118   0.072   1.523                                                  

DT2 <- copy(DT)                                                            
DT2 <- fgroup_by(DT2, date, ric, sort = FALSE)                             
system.time({                                                              
    f2 <- ffirst(DT2)                                                      
})                                                                         
#   user  system elapsed                                                   
#  0.017   0.000   0.017                                                   

identical(f1, f2)                                                          
# [1] TRUE

使用版本 #

• data.table_1.14.2
• collapse_1.7.3

性能差异原因解析 #

1. 分组索引的实现差异

   • data.table::setindex会物理重排整个数据集，同时构建对应的索引结构，这个过程需要移动大量数据，尤其是数据集规模较大时，耗时明显。
   • collapse::fgroup_by在sort=FALSE的默认设置下，不会重排原数据，仅计算并存储分组的位置映射向量（group IDs），本质是生成一个分组标识列表，不需要修改数据的物理顺序，操作更轻量化。

2. 分组取首行的实现差异

   • DT1[, .SD[1L], .(date, ric)]的写法中，data.table会先按分组拆分出.SD列表，再逐个提取首行，这个过程涉及多次数据子集化和对象创建，额外开销大。且这种.SD用法无法触发GForce优化（GForce主要针对聚合函数的向量化计算）。
   • collapse::ffirst基于预计算的分组位置索引直接提取对应行，完全采用向量化操作，不需要拆分数据集，直接通过分组映射快速定位每个组的首行位置，效率极高。

此外，collapse的分组操作大量使用C级别的向量化实现，减少了R层面的循环和对象拷贝；而data.table虽也有C实现，但在非排序分组、特定聚合场景下的优化策略不同，导致性能不如collapse。

内容的提问来源于stack exchange，提问作者statquant