R语言如何用data.table高效实现按时间分组对列对应用自定义函数

1. 基础准备代码 #

library(data.table)
# 转换原始数据为data.table格式，真实数据直接替换即可
dt <- as.data.table(data)
# 提取所有企业列的列名
firms <- setdiff(names(dt), "time")
# 生成所有企业两两配对表，CJ是data.table自带的交叉连接函数，效率远高于expand.grid
tmp <- CJ(firm1 = firms, firm2 = firms, sorted = FALSE)

2. 核心分组计算代码 #

# 自定义函数和你原有逻辑完全一致，无需修改
fun1 <- function(x, y){
  sum(x, y)
}

# 按时间分组批量计算所有配对的函数结果
result <- dt[, {
  # 预取当前分组的所有企业列数据，避免重复取列的开销
  firm_data <- mget(firms)
  # 批量对所有配对应用自定义函数
  tmp[, value := mapply(fun1, firm_data[firm1], firm_data[firm2])]
  # 自动返回带time字段的分组结果
  tmp
}, by = time]

# 如果需要和你给出的预期输出完全匹配，修改列名即可
setnames(result, "time", "t")

3. 性能优化建议 #

• 原tidyverse方案的性能瓶颈主要来自R层面的group_split拆分、apply逐行遍历，本方案所有分组逻辑都在data.table的C层面实现，针对2000列400万配对的场景，运行效率可提升10~100倍
• 如果你的业务不需要计算对称配对（即a-b和b-a无需重复计算），可以在生成tmp后加过滤条件tmp <- tmp[firm1 <= firm2]，直接减少一半计算量
• 自定义函数fun1尽量用向量化实现，避免内部使用循环，可进一步提升计算速度
• 计算得到的result是data.table格式，可直接用as_tibble(result)转为tibble适配你原有后续处理逻辑

内容的提问来源于stack exchange，提问作者Nick