R中按多组累加值并更新列表的问题及优化

问题根源 #

原代码统计虚高的核心原因是循环累加时的重复匹配错误：

• 初始空数据框与各CSV统计结果合并时，未按ID-Month_Yr主键精准去重，导致同一分组被多次累加
• 旧版spread函数的格式对齐逻辑存在漏洞，NA填充0后合并时易出现错位

修正代码（解决虚高） #

以下代码严格按分组主键匹配，避免重复计算，同时兼容R 3.6.1版本：

library(dplyr)
library(tidyr)
library(purrr)

# 生成2021-01至2023-12的完整年月序列
all_months <- seq.Date(as.Date("2021-01-01"), as.Date("2023-12-01"), by = "month") %>%
  format("%Y-%m")

# 批量加载所有CSV文件并合并
csv_path <- "./your_csv_folder"  # 替换为实际路径
all_csv_data <- list.files(csv_path, pattern = "\\.csv$", full.names = TRUE) %>%
  map_dfr(read.csv) %>%
  # 生成Month_Yr（替换date_col为你的数据中的日期列名）
  mutate(Month_Yr = format(as.Date(date_col), "%Y-%m")) %>%
  # 分组统计观测数
  count(ID, Month_Yr, Type) %>%
  # 转宽格式，缺失Type填充0
  pivot_wider(names_from = Type, values_from = n, values_fill = 0) %>%
  # 确保Type1、Type2列存在（避免部分文件无对应类型）
  mutate(
    Type1 = ifelse(is.na(Type1), 0, Type1),
    Type2 = ifelse(is.na(Type2), 0, Type2)
  )

# 补全所有ID-年月组合，避免缺失分组
full_data_grid <- expand.grid(
  ID = unique(all_csv_data$ID),
  Month_Yr = all_months,
  stringsAsFactors = FALSE
) %>%
  left_join(all_csv_data, by = c("ID", "Month_Yr")) %>%
  mutate(
    Type1 = ifelse(is.na(Type1), 0, Type1),
    Type2 = ifelse(is.na(Type2), 0, Type2)
  )

# 计算累计值并转换为ID键的列表
result_list <- full_data_grid %>%
  group_by(ID) %>%
  arrange(Month_Yr) %>%
  mutate(
    Type1_cum = cumsum(Type1),
    Type2_cum = cumsum(Type2)
  ) %>%
  ungroup() %>%
  split(.$ID) %>%
  map(select, Month_Yr, Type1_cum, Type2_cum)

高效优化点 #

相比原循环实现，这个方案的优势：

• 用map_dfr批量加载，避免循环加载的冗余操作，速度提升明显
• 用pivot_wider替代已弃用的spread，格式处理更稳定
• 用expand.grid补全所有维度，彻底避免缺失分组导致的统计偏差
• 直接用cumsum计算累计值，无需手动循环累加，逻辑更清晰

注意事项 #

• 替换./your_csv_folder为你的CSV文件夹实际路径
• 替换date_col为数据中用于生成年月的日期列名，如果没有日期列，可根据现有字符串字段提取（比如substr(your_date_str, 1, 7)）

内容的提问来源于stack exchange，提问作者metaltoaster