如何处理因上下文变量导致的dplyr慢查询问题

针对你遇到的大数据框用dplyr汇总时多次调用first()导致速度慢的问题，有几种高效的解决方案：

方法1：先提取唯一元数据再连接 #

既然index对应的name/year/city值完全重复，先提取这些字段的唯一对应关系，再和汇总结果连接，避免在分组里反复调用first()：

# 提取index与关联字段的唯一映射
unique_index_meta <- df |>
  select(index, name, year, city) |>
  distinct()

# 单独计算金额汇总
amount_summary <- df |>
  group_by(index) |>
  summarise(total_amount = sum(amount)) |>
  ungroup()

# 关联得到最终结果
final_result <- unique_index_meta |>
  inner_join(amount_summary, by = "index")

方法2：将关联字段加入分组 #

因为name/year/city与index是一一对应的，把它们加入group_by()不会增加分组数量，此时直接汇总金额即可，无需调用first()：

final_result <- df |>
  group_by(index, name, year, city) |>
  summarise(total_amount = sum(amount), .groups = "drop")

这种方法利用了dplyr的分组优化，内部处理效率远高于多次调用first()，代码也更简洁。

方法3：用data.table处理超大数据框 #

如果数据量特别大，推荐使用data.table，它的分组运算效率比dplyr更高：

library(data.table)
setDT(df)

# 方案A：利用字段唯一性加入分组
final_result <- df[, .(total_amount = sum(amount)), by = .(index, name, year, city)]

# 方案B：如果不确定字段唯一性，用first()但data.table的实现更高效
final_result <- df[, .(
  name = first(name),
  year = first(year),
  city = first(city),
  total_amount = sum(amount)
), by = index]

为什么原方法慢？ #

原代码中每次调用first()，dplyr都会在每个分组内遍历一次取值，多次调用就会重复遍历分组数据，导致时间复杂度上升。而上面的方法都只对分组数据做一次遍历（或提前提取唯一数据），大幅减少了运算量。

内容的提问来源于stack exchange，提问作者Alan