如何用data.table按组识别基于时间距离的事件聚类

需求说明 #

按group_id分组，将每个组内与当前区间首个事件时间差≤4天的事件归为同一聚类；超出4天则开启新的聚类区间，最终生成全局唯一的cluster_id。

解决方案代码 #

利用data.table的向量化分组运算，无需循环即可高效完成：

library(data.table)
library(lubridate)

# 生成示例数据
startDate <- as.POSIXct("2022-10-01")
dt1 <- data.table(
  id = 1:20,
  timestamp = startDate + days(rep(1:10,2)) + hours(1:20),
  group_id = rep(c("A","B"), each=10)
)

# 核心计算逻辑
dt1[, `:=`(
  # 计算每条记录与组内首个事件的时间差（天为单位）
  t_diff = as.duration(timestamp - first(timestamp)) / ddays(1),
  # 组内聚类编号：当当前事件与前一事件时差超4天时，开启新聚类
  cluster_grp = cumsum(c(TRUE, diff(timestamp) > ddays(4)))
), by = group_id]

# 生成全局唯一的cluster_id
dt1[, cluster_id := .GRP, by = .(group_id, cluster_grp)]

# 输出结果
dt1[]

代码解释 #

1. 分组计算时间差：在每个group_id分组内，计算每条记录与组内第一条记录的时间差，转换为天单位。
2. 组内聚类划分：通过cumsum+diff组合判断，当当前事件与前一个事件的时间差超过4天时，累积计数加1，生成组内的聚类编号cluster_grp。
3. 全局聚类ID：将group_id与cluster_grp组合作为分组键，用.GRP生成全局唯一的cluster_id，与预期结果完全匹配。

优势说明 #

相较于lapply循环方案，此实现基于data.table的底层优化和向量化运算，在大数据量场景下运行效率提升显著，同时代码简洁易维护。

内容的提问来源于stack exchange，提问作者bio_meles