使用pivot_wider后值变为列表的R语言数据处理问题

原因分析 #

出现这种情况的核心原因是原始数据中存在同一学校+学科的组合对应多条记录，其中部分记录的达标率为有效值，其余为NA，pivot_wider会自动把这些值打包成列表。

解决方案 #

方法1：先聚合再转宽表（推荐） #

在执行pivot_wider前，先按学校和学科分组，提取同一组合下的有效值（逻辑根据你的业务需求选择，比如取首个非NA值、均值等）。

示例代码：

library(tidyr)
library(dplyr)

# 假设原始数据框为df，达标率列名为pass_rate
df_clean <- df %>%
  group_by(school, content_area) %>%
  # 提取每组非NA的第一个有效值，也可替换为mean(pass_rate, na.rm=T)等
  summarise(pass_rate = first(na.omit(pass_rate)), .groups = "drop") %>%
  pivot_wider(names_from = content_area, values_from = pass_rate)

方法2：直接处理宽表后的列表列 #

如果已经完成宽表转换，可直接遍历列表列提取非NA值：

示例代码：

library(tidyr)
library(dplyr)
library(purrr)

# 假设宽表后的数据框为wide_df
wide_df_clean <- wide_df %>%
  mutate(across(-school, ~ map_dbl(., ~ .x[!is.na(.x)])))

across(-school, ...)指定对除学校列外的所有列操作，map_dbl将列表转为数值型，提取其中非NA元素。

方法3：在pivot_wider中直接处理 #

利用values_fn参数，在转宽表时直接完成有效值聚合：

示例代码：

library(tidyr)

wide_df_clean <- df %>%
  pivot_wider(
    names_from = content_area,
    values_from = pass_rate,
    # 对每个学校-学科组合取首个非NA值
    values_fn = ~ first(na.omit(.))
  )

注意事项 #

• 若同一学校+学科组合存在多个有效值，需先明确业务逻辑：是取均值、求和还是保留首个值，再选择对应聚合函数。
• 若部分组合无有效值，na.omit()会返回空值，可追加replace_na(list(MATH=0, ENGLISH=0))这类代码填充默认值。

内容的提问来源于stack exchange，提问作者Dee