为何我的分组summarize()运行耗时过长？求优化方案

针对你2亿+行数据集的分组汇总瓶颈，以下是几个实测有效的优化方向：

1. 改用data.table原生分组语法（核心优化） #

你已经用到了data.table的rleid()，直接用data.table处理分组会比dplyr快一个数量级以上，尤其是超大规模数据：

# 转换为data.table（如果还没转）
setDT(df)

# 一步完成分组计算，同时直接保留id（同一rl的id是唯一的）
events <- df[, .(
  id = first(id),
  start_date = min(datetime),
  end_date = max(datetime),
  duration = as.numeric(max(datetime) - min(datetime))
), by = rl]

这里直接用first(id)获取每个分组的id，省去后续join和去重步骤，大幅减少内存占用和计算时间。

2. 替换lubridate的时间差计算 #

int_length(interval())的底层调用开销大，直接利用POSIXct类型的时间差特性：

• POSIXct时间相减直接得到秒级差值，转成numeric就是时长，比lubridate函数快数倍。

3. 提前清理冗余数据 #

处理前删除不需要的列，只保留datetime、id、rl三列，减少内存负载：

df <- df[, .(datetime, id, rl)]

4. 内存与计算环境优化 #

• 确保R运行时分配足够内存，比如启动R时设置--max-mem-size=64G（根据你的机器内存调整）；
• 避免在RStudio中运行超大型计算，改用终端运行，减少内存占用；
• 如果数据集仍超出内存，考虑用fread()分块读取处理，或者用data.table的分批处理逻辑。

最终一步到位的高效代码 #

library(data.table)
library(lubridate)

# 假设数据已按datetime排序并生成rl列
setDT(df)

# 直接生成最终需要的单交互行数据集
final_df <- df[, .(
  id = first(id),
  start_date = min(datetime),
  end_date = max(datetime),
  duration = as.numeric(max(datetime) - min(datetime))
), by = rl]

# 可选：将duration转换为drtn类型（如果需要）
final_df[, duration := as.duration(duration)]

内容的提问来源于stack exchange，提问作者TommyFlynn