使用dplyr按CODASC分组求和P1生成POPULATION及批量实现求助

你当前使用的dplyr分组求和代码逻辑是正确的，针对多数据集、大量变量的同类操作需求，可参考以下优化方案：

单数据集多变量批量处理 #

如果需要对同一个数据框的多个变量生成分组求和结果，可使用across或动态变量映射实现批量操作，无需逐条编写mutate语句：

library(dplyr)
# 方案1：按规则匹配变量，自动生成带统一后缀的新列
df <- df %>%
  group_by(CODASC) %>%
  # 可替换为starts_with("P")、ends_with("1")等匹配规则选中需要计算的变量
  mutate(across(c(P1, P47, P62, E1, E3), ~sum(.x, na.rm = T), .names = "{.col}_group_sum")) %>%
  ungroup()

# 方案2：自定义新列名映射，适配你示例中P1求和结果命名为POPULATION的需求
col_name_map <- c(
  "POPULATION" = "P1",
  "P47_TOTAL" = "P47",
  "E1_SUM" = "E1"
)
df <- df %>%
  group_by(CODASC) %>%
  mutate(!!!lapply(col_name_map, function(col) sum(!!sym(col), na.rm = T))) %>%
  ungroup()

多数据集批量处理 #

如果需要对多个数据框执行完全相同的分组求和操作，可将数据集存入列表后用purrr::map批量处理，效率远高于手动循环：

library(purrr)
# 将所有待处理数据框存入列表，示例：df_list <- list(数据集1, 数据集2, 数据集3)
# 定义通用处理函数
group_calc <- function(df, group_col = "CODASC", col_map = c("POPULATION" = "P1")) {
  df %>%
    group_by(!!sym(group_col)) %>%
    mutate(!!!lapply(col_map, function(col) sum(!!sym(col), na.rm = T))) %>%
    ungroup()
}
# 批量处理所有数据集
processed_list <- map(df_list, ~group_calc(.x))
# 如需将处理后的数据集导出到全局环境，可执行
list2env(setNames(processed_list, c("df1_new", "df2_new", "df3_new")), envir = .GlobalEnv)

超大数据集性能优化方案 #

如果处理的是百万行以上的超大数据集，推荐使用data.table实现，运算速度比dplyr高3-10倍：

library(data.table)
# 转换为data.table格式
setDT(df)
# 单变量生成分组求和新列
df[, POPULATION := sum(P1, na.rm = T), by = CODASC]
# 多变量批量生成
col_map <- c("POPULATION" = "P1", "P47_TOTAL" = "P47", "E1_SUM" = "E1")
df[, (names(col_map)) := lapply(col_map, function(col) sum(get(col), na.rm = T)), by = CODASC]

内容的提问来源于stack exchange，提问作者ilaria