在R中处理6000万行数据：for循环提速方案求助

问题背景 #

我在R里用for循环给数据集的「行程（trips）」生成唯一ID，部分行程会被拆成多行数据。循环逻辑为：对比当前行与前一行，满足条件时生成新ID，否则沿用前一行ID；同时对第一行做特殊处理，默认ID为1以避免无前行比对报错。

该逻辑在100行测试集上表现正常，但处理6000万行数据时已运行超过24小时。不清楚如何用lapply类函数实现复杂条件判断，也不确定这类函数能否提升效率；考虑过分块处理，但因仅需对比当前行与前一行，不确定是否能节省时间（不过分块可提供中间保存的容错机制），寻求优化方案。

当前脚本 #

Oct19Subset <- Oct19 %>%
  arrange(media_uuid, `Entry Date`) %>% 
  mutate(prev_mediaUUID = c(0, head(media_uuid, -1))) %>% 
  mutate(linked_trip_id = 1)

for (i in 1:nrow(Oct19Subset)){
  if (i == 1) {
    Oct19Subset$linked_trip_id[i] <- 1
  } else {
    if (Oct19Subset$`Ride Type`[i] == "B" | 
         Oct19Subset$media_uuid[i] != Oct19Subset$prev_mediaUUID[i]){
      Oct19Subset$linked_trip_id[i] <- Oct19Subset$linked_trip_id[i-1] + 1
    } else Oct19Subset$linked_trip_id[i] <- Oct19Subset$linked_trip_id[i-1]
  }
} 

优化方案 #

方案1：用dplyr向量化操作替代循环（推荐，最快） #

R的逐行for循环在处理大数据时效率极低，改用向量化的窗口函数和累计求和操作，速度能提升几个数量级：

library(dplyr)

Oct19Subset <- Oct19 %>%
  # 保持原有排序逻辑
  arrange(media_uuid, `Entry Date`) %>%
  # 标记需要生成新行程ID的行
  mutate(
    new_trip = case_when(
      row_number() == 1 ~ TRUE,  # 第一行默认是新行程
      `Ride Type` == "B" ~ TRUE,
      media_uuid != lag(media_uuid) ~ TRUE,  # 用lag()直接取前一行的media_uuid
      TRUE ~ FALSE
    ),
    # 通过累计求和生成唯一行程ID
    linked_trip_id = cumsum(new_trip)
  ) %>%
  # 可选：删除中间辅助变量
  select(-new_trip)

优势：

• 底层优化的向量运算，无需逐行遍历，处理千万级数据仅需数分钟甚至更短
• 代码简洁，避免手动维护prev_mediaUUID变量
• 链式操作减少内存拷贝，内存效率更高

方案2：分块处理（适合内存不足场景） #

如果6000万行数据一次性加载会导致内存溢出，可采用分块处理，同时保留中间保存的容错机制：

library(dplyr)

# 设置分块大小，根据内存情况调整（比如100万行/块）
chunk_size <- 1e6
total_rows <- nrow(Oct19)
# 生成分块索引
chunk_indices <- split(1:total_rows, ceiling(seq_along(1:total_rows)/chunk_size))

result_list <- list()
# 记录上一个块的最后一行信息，用于跨块判断
last_trip_id <- 0
last_media_uuid <- NULL

for(idx in chunk_indices){
  current_chunk <- Oct19[idx, ] %>%
    arrange(media_uuid, `Entry Date`) %>%
    mutate(
      # 处理块内第一行时，需要和上一个块的最后一行比对
      new_trip = case_when(
        row_number() == 1 ~ (is.null(last_media_uuid) | media_uuid != last_media_uuid | `Ride Type` == "B"),
        `Ride Type` == "B" ~ TRUE,
        media_uuid != lag(media_uuid) ~ TRUE,
        TRUE ~ FALSE
      ),
      # 基于上一个块的最后ID继续累加
      linked_trip_id = last_trip_id + cumsum(new_trip)
    )
  
  # 更新全局变量，用于下一个块的判断
  last_row <- current_chunk[nrow(current_chunk), ]
  last_trip_id <- last_row$linked_trip_id
  last_media_uuid <- last_row$media_uuid
  
  # 将处理后的块存入列表
  result_list <- c(result_list, list(current_chunk))
}

# 合并所有块得到最终结果
Oct19Subset <- bind_rows(result_list)

优势：

• 降低单次内存占用，避免内存溢出
• 每块处理完成后可随时保存到磁盘，中途出错无需从头开始

方案3：用data.table进一步提升效率 #

data.table在处理大数据时的速度和内存效率优于dplyr，适合超大规模数据集：

library(data.table)

# 转换为data.table格式
setDT(Oct19)

Oct19Subset <- Oct19[order(media_uuid, `Entry Date`), 
                     # 标记新行程：media_uuid变化 或 Ride Type为B
                     new_trip := (media_uuid != shift(media_uuid, fill = media_uuid[1])) | (`Ride Type` == "B")]
# 累计求和生成行程ID
Oct19Subset[, linked_trip_id := cumsum(new_trip)]
# 删除辅助变量
Oct19Subset[, new_trip := NULL]

优势：

• 比dplyr更快的处理速度，内存占用更低
• 语法简洁，适合大规模数据处理

内容的提问来源于stack exchange，提问作者azimm