map_df生成大量缺失值原因及行合并补NA方法咨询

需要统计学生各科目获得1-5分的次数，生成math_1、biology_2这类格式的列。原本用for循环可正常实现，但因数据集规模过大改用map_df处理后，生成了大量缺失值（NA），每列仅部分区块有有效数据。希望解决以下任一问题：

1. map_df产生该问题的原因是什么，如何避免？
2. 如何整理现有数据，使每行对应原数据集的18行，合并行补全NA（仅保留真实缺失数据）？

示例代码 #

生成样本数据

library(tidyverse)

student_grades <- tibble(student_id = c(1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3, 4, 4, 4, 4, 5, 5),
                         subject = c(rep(c("english", "biology", "math", "history"), 4), NA, "biology"),
                         grade = as.character(c(1, 2, 3, 4, 5, 4, 3, 2, 2, 4, 1, 1, 1, 1, 2, 3, 3, 4)))

all_subject_combos <- c("english", "history", "math", "biology")
all_grades <- c("1", "2", "3", "4", "5")

subjects_and_letter_grades <- expand.grid(all_subject_combos, all_grades)

all_combos <- subjects_and_letter_grades %>%
  unite("names", c(Var1, Var2)) %>%
  mutate(names = str_replace_all(names, "\\|", "_")) %>%
  pull(names)

产生问题的map_df代码

# 错误的map_df用法
student_map <- map_df(all_combos,
                        ~student_grades %>%
                          mutate("{.x}" := paste(i)) %>%
                          group_by(student_id) %>%
                          mutate("{.x}" := sum(case_when(str_detect(.x, subject) &
                                                           str_detect(.x, grade) ~ 1,
                                                         TRUE ~ 0), na.rm = T)))

可正常运行的for循环代码

# 正确的for循环用法
student_map <- student_grades
for(i in all_combos) {
  student_map <- student_map %>%
    mutate("{i}" := paste(i)) %>%
    group_by(student_id) %>%
    mutate("{i}" := sum(case_when(str_detect(i, subject) &
                                    str_detect(i, grade) ~ 1,
                                  TRUE ~ 0), na.rm = T)) 
}

一、map_df产生缺失值的原因及修正方法 #

原因分析 #

map_df的核心逻辑是将每个迭代结果按行绑定（rbind），你当前的写法是对每个all_combos元素，基于原始student_grades生成带新列的完整数据框，然后map_df会把这20个（4科目×5等级）数据框逐行追加，最终行数是18 * 20 = 360行。每个新列仅在对应迭代的那18行有值，其余342行都是NA，这就是你看到的"每列仅部分区块有有效数据"的原因。

而for循环是在同一个数据框上逐步添加列，每一次循环都把新列直接合并到原数据框，不会生成额外行，因此没有NA问题。

修正后的purrr用法 #

要实现和for循环等价的效果，可改用map_dfc生成所有列的结果后按列合并，或用reduce模拟for循环的累加逻辑：

方法1：map_dfc + 按列合并

# 定义单个列的计算函数
calc_col <- function(col_name) {
  student_grades %>%
    group_by(student_id) %>%
    mutate(!!col_name := sum(case_when(
      str_detect(col_name, subject) & str_detect(col_name, grade) ~ 1,
      TRUE ~ 0
    ), na.rm = TRUE)) %>%
    pull(!!col_name)
}

# 生成所有列并合并到原数据框
student_map_fixed <- student_grades %>%
  bind_cols(map_dfc(all_combos, calc_col))

方法2：reduce模拟累加

student_map_reduce <- all_combos %>%
  reduce(function(df, col_name) {
    df %>%
      group_by(student_id) %>%
      mutate(!!col_name := sum(case_when(
        str_detect(col_name, subject) & str_detect(col_name, grade) ~ 1,
        TRUE ~ 0
      ), na.rm = TRUE))
  }, .init = student_grades)

二、整理现有含NA的数据 #

如果已经生成了错误的student_map，可通过分组聚合补全NA，保留原18行数据：

cleaned_data <- student_map %>%
  group_by(student_id, subject, grade) %>%
  summarise(across(all_of(all_combos), ~first(na.omit(.))), .groups = "drop")

这个逻辑会将同一student_id+subject+grade的重复行合并，提取每个列的非NA值，仅保留原始数据中真实的缺失（比如student_id=5的subject=NA行）。

更高效的替代方案（无需循环/Map） #

对于大数据集，推荐用tidyverse的统计+转宽流程，直接一步完成需求，避免循环开销：

# 1. 统计每个学生-科目-等级的出现次数
grade_tally <- student_grades %>%
  drop_na(subject, grade) %>%  # 保留真实缺失，仅去除统计无效的行
  count(student_id, subject, grade, name = "count") %>%
  unite("col_name", subject, grade, sep = "_")

# 2. 转宽表得到目标格式
final_result <- student_grades %>%
  left_join(grade_tally, by = c("student_id", "subject", "grade")) %>%
  pivot_wider(
    id_cols = c(student_id, subject, grade),
    names_from = col_name,
    values_from = count,
    values_fill = 0  # 无记录的次数填充0
  )

内容的提问来源于stack exchange，提问作者J.Sabree