R语言：如何用dplyr替代for循环实现多条件分组金额求和

问题场景 #

需要处理的数据逻辑：针对数据框中每个唯一的DATE_M（月份），按SECTOR分组，计算全量历史数据中满足DATE_M >= DATE_1且DATE_M <= DATE_2的AMOUNT总和（即该月份该行业的未结金额）。

已通过循环实现正确结果，但百万级数据下效率极低；尝试dplyr::group_by(DATE_M, SECTOR) + summarize时，仅统计当前DATE_M行的数据，遗漏了历史符合条件的行，结果错误。

示例数据 #

library(dplyr)

set.seed(123)
df <- tibble(
  DATE_M = rep(seq(as.Date("2023-01-01"), as.Date("2023-03-01"), by = "month"), each = 2),
  SECTOR = rep(c("A", "B"), 3),
  DATE_1 = sample(seq(as.Date("2022-12-01"), as.Date("2023-02-01"), by = "month"), 6, replace = TRUE),
  DATE_2 = sample(seq(as.Date("2023-02-01"), as.Date("2023-04-01"), by = "month"), 6, replace = TRUE),
  AMOUNT = sample(100:500, 6)
)

print(df)

低效但正确的循环实现 #

unique_dates <- unique(df$DATE_M)
unique_sectors <- unique(df$SECTOR)
result <- data.frame()

for (date_m in unique_dates) {
  for (sector in unique_sectors) {
    filtered <- df %>%
      filter(SECTOR == sector, DATE_M >= DATE_1, DATE_M <= DATE_2)
    total <- sum(filtered$AMOUNT)
    result <- rbind(result, data.frame(DATE_M = date_m, SECTOR = sector, UNPAID_AMOUNT = total))
  }
}

print(result)

错误的dplyr尝试及问题 #

wrong_result <- df %>%
  group_by(DATE_M, SECTOR) %>%
  summarize(UNPAID_AMOUNT = sum(AMOUNT[DATE_M >= DATE_1 & DATE_M <= DATE_2]))

print(wrong_result)

问题原因：group_by(DATE_M, SECTOR)后，每个分组仅包含当前DATE_M和SECTOR的行，无法关联全量历史中其他行里符合DATE_1 <= 当前DATE_M <= DATE_2的数据。

高效非循环解决方案 #

方案1：data.table非等连接（百万级数据首选） #

data.table的非等连接在处理超大数据时性能最优：

library(data.table)

dt <- as.data.table(df)

# 生成所有(DATE_M, SECTOR)唯一组合
unique_combinations <- dt[, .(DATE_M = unique(DATE_M)), by = SECTOR]

# 非等连接匹配并计算总和
result_dt <- unique_combinations[dt, 
                                on = .(SECTOR = SECTOR, DATE_M >= DATE_1, DATE_M <= DATE_2),
                                .(UNPAID_AMOUNT = sum(AMOUNT)),
                                by = .EACHI]

# 排序整理结果
setorder(result_dt, DATE_M, SECTOR)
print(result_dt)

方案2：dplyr非等连接（需dplyr 1.1.0+） #

适合熟悉dplyr生态的用户：

# 生成所有(DATE_M, SECTOR)唯一组合
unique_combinations <- df %>%
  distinct(DATE_M, SECTOR)

# 非等连接关联数据并求和
result_dplyr <- unique_combinations %>%
  left_join(df, 
            join_by(SECTOR == SECTOR, DATE_M >= DATE_1, DATE_M <= DATE_2)) %>%
  group_by(DATE_M, SECTOR) %>%
  summarize(UNPAID_AMOUNT = sum(AMOUNT, na.rm = TRUE)) %>%
  ungroup()

print(result_dplyr)

方案优势 #

非等连接直接将每个(DATE_M, SECTOR)组合与全量数据中符合日期条件的同行业行关联，一次性完成计算，避免了循环的逐行迭代，百万级数据下效率提升显著。

内容的提问来源于stack exchange，提问作者adam.reiss