使用pivot_wider宽表转换时生成重复行的问题求助

核心问题原因 #

你遇到的重复行问题，本质是分组键（country、year）存在隐形不一致，或是同一country-year-variable组合存在重复行，导致pivot_wider无法正确将同一组的不同变量值合并到同一行。测试集正常是因为测试数据的分组键干净无冗余，而实际数据集存在这些隐藏问题。

解决方案步骤 #

1. 清理分组键的一致性 #

先处理country和year的格式问题，消除隐形差异：

library(dplyr)
library(tidyr)
library(stringr)

# 清理数据格式
df_cleaned <- df %>%
  # 统一国家名称格式：去首尾空格、转小写（避免"USA"和"usa"被识别为不同国家）
  mutate(country = str_trim(str_to_lower(country))) %>%
  # 确保年份为整数类型（避免"2000"字符型和2000数值型被识别为不同年份）
  mutate(year = as.integer(year))

2. 检查并处理重复的变量行 #

检查是否存在同一国家、同一年份、同一变量的重复记录：

# 查看重复组合
duplicate_check <- df_cleaned %>%
  count(country, year, variable) %>%
  filter(n > 1)

# 如果有重复，按需聚合（比如取第一个值、均值或求和）
df_cleaned <- df_cleaned %>%
  group_by(country, year, variable) %>%
  summarise(value = first(value), .groups = "drop")
# 若需要聚合数值，可替换为：value = mean(value, na.rm = TRUE)

3. 重新执行pivot_wider #

用清理后的数据集执行转宽操作，明确指定分组键：

df_wide <- df_cleaned %>%
  pivot_wider(
    id_cols = c(country, year), # 明确指定分组依据
    names_from = variable,
    values_from = value
  )

为什么不用多次left_join？ #

多次过滤再left_join会增加代码冗余，且当变量数量较多时，会大幅降低处理效率。上述方法从根源解决数据格式问题，是更高效的标准处理方式。

内容的提问来源于stack exchange，提问作者Pedro Cardoso