data.table分组运算性能过慢，求5-10倍提速优化方案

使用data.table处理1000行数据时，分组汇总操作中位数耗时约56毫秒，生产环境处理数十万/百万行数据时界面严重卡顿。已尝试setkey但无性能提升，需实现5-10倍的速度优化。

原代码及性能测试如下：

library(data.table)

# 创建测试数据
dt <- data.table(
  ts = seq.POSIXt(Sys.time(), by = 60, length.out = 1000),
  regn = rpois(1000, 100),
  VR = rnorm(1000, 50, sd = 5),
  rv = rnorm(1000, 500, sd = 20),
  topic = sample(c("A","B","C","D","E"), size = 1000, replace = T),
  hrblock = xts::align.time(seq.POSIXt(Sys.time(), by = 60, length.out = 1000), n = 60)
)

# 原分组代码性能测试
microbenchmark::microbenchmark( 
  dt[,.(.N,t1=first(ts),t2= last(ts),
     r1 = fifelse(regn %in% c(100,101,102), first(VR),NA_real_),
     r2 = fifelse(regn %in% c(100,101,102), last(VR),NA_real_),
     watts = fifelse(regn==101,mean(VR),NA_real_),
     l1 = first(rv),l2=last(rv)),
  .(hrblock,topic,regn)]
)
#> Unit: milliseconds
#>       min       lq     mean   median       uq      max neval
#>  51.30181 54.83056 57.41794 56.55636 57.99337 90.92381   100

原代码的核心问题在于重复计算与冗余判断：

• 每组内多次调用fifelse重复判断regn %in% c(100,101,102)和regn==101，增加不必要的计算开销
• first(VR)、last(VR)、mean(VR)在fifelse中会被无条件计算（即便条件不满足），浪费资源
• 分组键包含regn，意味着每个regn单独成组，此时regn %in% ...的判断其实是针对整个组的单一值，无需逐行判断

针对上述问题，优化思路是：先完成基础分组汇总，再基于分组后的regn值做条件赋值，避免冗余计算：

library(data.table)
library(microbenchmark)

# 优化后的分组逻辑
optimized <- function(dt) {
  # 先完成所有基础汇总，避免条件内重复计算
  res <- dt[, .(
    .N,
    t1 = first(ts),
    t2 = last(ts),
    first_VR = first(VR),
    last_VR = last(VR),
    mean_VR = mean(VR),
    l1 = first(rv),
    l2 = last(rv)
  ), by = .(hrblock, topic, regn)]
  
  # 基于分组后的regn值做条件赋值，仅执行一次判断
  res[, `:=`(
    r1 = fifelse(regn %in% c(100,101,102), first_VR, NA_real_),
    r2 = fifelse(regn %in% c(100,101,102), last_VR, NA_real_),
    watts = fifelse(regn == 101, mean_VR, NA_real_)
  )]
  
  # 移除临时列（可选，按需保留）
  res[, c("first_VR", "last_VR", "mean_VR") := NULL]
  
  return(res)
}

# 性能对比测试
microbenchmark(
  original = dt[,.(.N,t1=first(ts),t2= last(ts),
                   r1 = fifelse(regn %in% c(100,101,102), first(VR),NA_real_),
                   r2 = fifelse(regn %in% c(100,101,102), last(VR),NA_real_),
                   watts = fifelse(regn==101,mean(VR),NA_real_),
                   l1 = first(rv),l2=last(rv)),
                .(hrblock,topic,regn)],
  optimized = optimized(dt),
  times = 100
)

测试结果显示，优化后的代码中位数耗时可降至5-8毫秒，实现了7-10倍的性能提升：

#> Unit: milliseconds
#>       expr      min       lq     mean   median       uq      max neval
#>  original 49.21347 52.67587 55.98474 54.76207 57.12807 92.30845   100
#> optimized  4.12038  4.87212  6.05347  5.31058  6.27641 28.43015   100

• 若hrblock是由ts生成的，可提前计算并设置为索引：setindex(dt, hrblock, topic, regn)，进一步提升分组效率
• 生产环境处理超大数据时，可考虑分块处理或利用data.table的并行计算特性

内容的提问来源于stack exchange，提问作者Lazarus Thurston