如何高效在大型R数据框中回溯特定历史值计算均值？

我需要处理一个时间序列数据集，针对每个时间点回溯24小时、48小时、56小时等特定时间点，计算这些点的均值和标准差。现有代码能实现需求，但处理数十万行数据时速度极慢。希望找到更高效的实现方式，暂不考虑purrr和多核方案。

原实现代码：

library(tidyverse)

#dummy data
datetime <- seq(ymd_hms("2023-07-01 00:00:00"),ymd_hms("2023-07-10 00:00:00"), "1 hour")
value <- runif(length(datetime), 0, 1)
df <- tibble(datetime, value)

#define historic values required and calculate mean historic value
sequence <- days(1:5)
out <- list()
for (i in 1:nrow(df)){
  row <- df$datetime[i]
  final_sequence <- row - sequence
  value <- 
    df %>% 
    filter(datetime %in% final_sequence) %>%
    select(datetime, value) %>% 
    summarise(mean_historic_value = mean(value),
              sd_historic_value = sd(value))
  out[[i]] <- value
  print(i)
}

out <- bind_rows(out)
bind_cols(df, out)

优化思路 #

原代码慢的关键原因是循环里每次都要全表扫描过滤时间点——几十万行数据的话，相当于重复几十万次全表查询，时间复杂度是O(n²)，肯定快不了。

要提速，咱们可以利用时间序列的规律性，换个思路：先预生成所有需要匹配的回溯时间点，通过一次左连接把历史值关联到当前时间点上，最后分组计算统计量。这样只需要几次批量操作，时间复杂度直接降到O(n)。

优化后的代码 #

library(tidyverse)

# 生成模拟数据
datetime <- seq(ymd_hms("2023-07-01 00:00:00"), ymd_hms("2023-07-10 00:00:00"), "1 hour")
value <- runif(length(datetime), 0, 1)
df <- tibble(datetime, value)

# 定义需要回溯的时间偏移量（示例为1-5天，对应24-120小时）
offsets <- days(1:5)

# 1. 为每个时间点生成所有回溯匹配时间，转成长格式方便连接
match_table <- df %>%
  mutate(
    # 给每个偏移量生成对应的回溯时间列
    across(all_of(offsets), ~ datetime - .x, .names = "match_{.fn}")
  ) %>%
  # 把多列匹配时间转成一列，每条记录对应一个回溯时间点
  pivot_longer(
    cols = starts_with("match_"),
    names_to = "offset",
    values_to = "match_datetime"
  )

# 2. 左连接原数据集，获取每个回溯时间点的value值
joined_data <- match_table %>%
  left_join(df, by = c("match_datetime" = "datetime")) %>%
  rename(current_datetime = datetime, current_value = value.x, historic_value = value.y)

# 3. 按当前时间分组，计算均值和标准差
result <- joined_data %>%
  group_by(current_datetime, current_value) %>%
  summarise(
    mean_historic_value = mean(historic_value, na.rm = TRUE),
    sd_historic_value = sd(historic_value, na.rm = TRUE),
    .groups = "drop"
  ) %>%
  rename(datetime = current_datetime, value = current_value)

# 查看结果
head(result)

效果说明 #

• 原代码：循环内反复全表过滤，数据量越大，耗时增长越快，几十万行数据会非常卡顿。
• 优化后代码：仅需一次数据重塑、一次连接和一次分组聚合，所有操作都是批量处理，性能提升明显，完全适配数十万行的数据集。

内容的提问来源于stack exchange，提问作者Thomas Williams