寻求R中处理300万条数据的高效for循环替代方案

你有300万行的数据集，用for循环统计同一SUBJECT下VECTORMAGNITUDECOUNTS≥1853的连续行数时速度极慢，下面提供两种高效的向量化方案，彻底替代低效的逐行循环：

方法一：用data.table（优先推荐，速度最快） #

data.table专门针对大样本数据优化，处理效率远高于基础R循环：

# 加载包
library(data.table)

# 把数据转成data.table格式
setDT(sub_study)

# 分组计算连续计数
sub_study[, bout_len_tracker := {
  # 标记满足条件的行
  meets_cond = VECTORMAGNITUDECOUNTS >= 1853
  # 生成连续分组ID：当条件不满足或SUBJECT变化时，分组ID更新
  group_id = rleid(meets_cond, SUBJECT)
  # 组内对满足条件的行累加计数，不满足的设为0
  ifelse(meets_cond, seq_len(.N), 0)
}, by = .(SUBJECT, rleid(VECTORMAGNITUDECOUNTS >= 1853, SUBJECT))]

更简洁的写法：

setDT(sub_study)
sub_study[, {
  meets_cond = VECTORMAGNITUDECOUNTS >= 1853
  # 生成连续分组，同一组内是SUBJECT相同且条件连续满足/不满足的行
  rle_group = rleid(meets_cond)
  # 组内计数，不满足条件的行设为0
  bout_len_tracker = ifelse(meets_cond, ave(meets_cond, rle_group, FUN = cumsum), 0)
  .(bout_len_tracker)
}, by = SUBJECT]

方法二：用dplyr（语法更易读） #

dplyr的向量化操作也能大幅提升效率，适合习惯tidyverse语法的用户：

library(dplyr)

sub_study <- sub_study %>%
  group_by(SUBJECT) %>%
  mutate(
    # 标记满足条件的行
    meets_cond = VECTORMAGNITUDECOUNTS >= 1853,
    # 生成连续分组ID：条件变化时分组更新，这里借用data.table的rleid函数
    rle_group = data.table::rleid(meets_cond)
  ) %>%
  group_by(SUBJECT, rle_group) %>%
  mutate(
    # 组内对满足条件的行按顺序计数，不满足的设为0
    bout_len_tracker = ifelse(meets_cond, row_number(), 0)
  ) %>%
  ungroup() %>%
  select(-meets_cond, -rle_group)  # 删掉临时变量

核心逻辑 #

两种方法都是先按SUBJECT分组，再给每个受试者内的行按VECTORMAGNITUDECOUNTS≥1853的条件生成连续分组——连续满足条件的行归为一组，不满足的单独成组；之后在每个分组内对符合条件的行累加计数，不满足的行直接设为0。全程不用逐行循环，处理300万行数据的速度会比原循环快几十倍甚至上百倍。

内容的提问来源于stack exchange，提问作者Alex