基于tidyverse按测量间隔分组DataFrame：求百万级数据高效方法

你需要按个体ID分组，当两次测量间隔超过5天时将新测量值划为新组，原代码逻辑正确但处理百万级数据时性能不足，以下是两种更高效的实现方案：

方案1：简化dplyr管道逻辑 #

原代码多次创建中间变量并调用外部包函数，可通过原生dplyr函数直接生成组ID，减少运算步骤：

library(tidyverse)

set.seed(50)
data <- data.frame(ID = c(rep("A",10), rep("B",10), rep("C",10)),
                   day = round(runif(30, min = 0, max = 100),0),
                   value =  runif(30, min = 100, max = 150)) %>% 
  arrange(ID, day)

# 优化后的分组逻辑
data_opt <- data %>%
  group_by(ID) %>%
  # 标记是否为新组：首次测量默认是新组，后续间隔>5天则标记为新组
  mutate(is_new_group = c(TRUE, diff(day) > 5)) %>%
  # 累加标记生成连续组ID，替代原代码的na.locf + dense_rank
  mutate(IDSeq = cumsum(is_new_group)) %>%
  ungroup()

# 生成汇总结果
result <- data_opt %>%
  group_by(ID, IDSeq) %>%
  summarise(mean_value = mean(value, na.rm = TRUE),
            n = n(),
            .groups = "drop")

优化点说明 #

• 用diff(day)直接计算相邻天数差，替代lag(day)的减法操作
• 用cumsum(is_new_group)直接生成组ID，省去na.locf填充NA和dense_rank排序的额外开销，减少中间变量创建

方案2：用data.table处理大数据（推荐） #

data.table针对大数据量做了极致优化，内存占用更低、运算速度远快于tidyverse，适合百万行级别的数据处理：

library(data.table)

set.seed(50)
dt <- data.table(ID = c(rep("A",10), rep("B",10), rep("C",10)),
                 day = round(runif(30, min = 0, max = 100),0),
                 value =  runif(30, min = 100, max = 150))
# 按ID和测量日期排序
setorder(dt, ID, day)

# 分组生成新组标记和组ID
dt[, is_new_group := c(TRUE, diff(day) > 5), by = ID]
dt[, IDSeq := cumsum(is_new_group), by = ID]

# 汇总计算
result_dt <- dt[, .(mean_value = mean(value, na.rm = TRUE), n = .N), by = .(ID, IDSeq)]

优势说明 #

• data.table的分组操作是原地修改，避免了数据复制，内存效率更高
• 内置的分组运算逻辑经过底层优化，百万行数据的处理速度比dplyr版本快数倍

内容的提问来源于stack exchange，提问作者Florent