如何在分组数据框中高效实现complete()的等效功能？

先排查核心问题：分组变量错误导致的性能瓶颈 #

你当前的代码里，group_by_at(vars(id:trial_day))把trial_day也纳入了分组变量，这会让每个分组对应一个单独的trial_day值，后续complete(trial_day = 1:14)会给每个原有分组生成14行数据，直接导致数据量膨胀14倍，这大概率是运行数小时无结果的核心原因。

正确的分组逻辑应该是：仅按id到trial_day之前的变量分组（排除trial_day），汇总每个分组下不同trial_day的数值，再补全1-14天的缺失值。

高效替代方案 #

方案1：用crossing+left_join替代complete

先生成所有分组变量与1-14天的全组合，再和汇总数据左连接，这种向量级操作比分组内的complete效率高很多：

# 1. 正确汇总：分组排除trial_day，计算每个分组下各trial_day的数值和
summary_df <- mydf |>
  group_by_at(vars(id:(trial_day-1))) |> # 替换成实际的分组变量（不含trial_day）
  summarise_at(vars(bla:last_col()), sum, .groups = "drop")

# 2. 生成分组变量 + 1-14天的全组合
full_combinations <- summary_df |>
  select(id:(trial_day-1)) |> # 取所有分组变量
  distinct() |>
  crossing(trial_day = 1:14)

# 3. 左连接补全数值，缺失值可按需补0或NA
result <- full_combinations |>
  left_join(summary_df, by = c(names(select(summary_df, id:(trial_day-1))), "trial_day")) |>
  mutate(across(vars(bla:last_col()), ~replace_na(.x, 0))) # 按需替换NA为0

方案2：expand+left_join实现与complete相同效果

expand本身只生成组合不保留其他列，只需后续左连接原数据即可，性能优于complete：

针对你给出的测试示例：

df <- data.frame(
  id = rep('a', 5),
  x = 6:10,
  y = 5:1
)

# 用expand+left_join替代complete，保留所有列
df |> 
  group_by(id) |> 
  expand(x = 1:10) |>
  left_join(df, by = c("id", "x"))

对应真实数据的流程：

summary_df <- mydf |>
  group_by_at(vars(id:(trial_day-1))) |>
  summarise_at(vars(bla:last_col()), sum, .groups = "drop")

result <- summary_df |>
  group_by_at(vars(id:(trial_day-1))) |>
  expand(trial_day = 1:14) |>
  left_join(summary_df, by = c(names(select(summary_df, id:(trial_day-1))), "trial_day")) |>
  mutate(across(vars(bla:last_col()), ~replace_na(.x, 0)))

方案3：大数据集首选data.table

data.table在处理大规模数据时的速度远优于dplyr/tidyr，写法如下：

library(data.table)
setDT(mydf)

# 替换为你的实际分组变量（不含trial_day）
group_vars <- c("id", "other_group_col1", "other_group_col2")
value_cols <- setdiff(names(mydf), c(group_vars, "trial_day"))

# 1. 汇总数据
summary_dt <- mydf[, lapply(.SD, sum), by = group_vars, .SDcols = value_cols]

# 2. 生成全组合并左连接
full_dt <- summary_dt[, .(trial_day = 1:14), by = group_vars]
result_dt <- full_dt[summary_dt, on = c(group_vars, "trial_day")]

# 3. 缺失值补0（按需调整）
result_dt[, (value_cols) := lapply(.SD, function(x) fifelse(is.na(x), 0, x)), .SDcols = value_cols]

关于右连接出现NA的问题 #

你之前用右连接梯子表时，梯子表只有trial_day，没有分组变量，导致分组列出现NA。解决方法是先把分组变量的唯一值与梯子表做交叉组合（用crossing），再左连接汇总数据，就像方案1里的操作，这样分组变量会被完整填充。

内容的提问来源于stack exchange，提问作者Doug Fir