基于多变量在R中构建Pseudo-panel的问题及扩展需求

问题 #

我有四个不同时间周期的截面数据，想基于sex、age_group、education、sector_eu四个变量构建伪面板，但运行现有代码后观测数从初始4687条暴增至202245条，不符合预期——相同分组变量组合的个体应该合并为一行。用100条观测的小样本测试时，结果输出12条，但实际只有3种分组变量的唯一组合。另外，DT15_sl、DATA17_sl两个数据集的第15、16位有额外变量，怎么修改代码把这些变量也纳入伪面板？

现有代码：

list_df <- list(DT15_sl, dt17_sl,DATA17_sl,dt18_sl)

result <- Reduce(function(x, y)
  merge(x, y, by=c("sex", "age_group", "education", "sector_eu")), 
  lapply(list_df, function(x) 
  {names(x)[10:14] <- paste(names(x)[10:14], x$year_month[4], sep = '_');x[-4]})) 

result

输出异常示例：

同一分组组合重复出现多行，比如sex=1, age_group=35-39, education=4, sector_eu=Non-tradable sectors的组合在结果里出现2次，而该分组应仅保留一行。

问题原因 #

1. 未做组层面聚合：直接对原始截面数据执行merge，但每个数据集内同一分组下有多个个体观测，merge会将不同数据集同分组的个体做笛卡尔积匹配，导致行数暴增。
2. 变量处理范围固定：代码仅重命名第10-14列的变量，未覆盖DT15_sl、DATA17_sl的第15、16列额外变量，导致这些变量被遗漏或未正确标记时间戳。

解决方案 #

核心思路 #

先将每个时间点的截面数据按分组变量聚合为组层面数据（每个分组仅一行），再合并所有时间点的组数据；同时动态识别所有非分组变量，确保额外变量也被标记时间戳后纳入伪面板。

修改后的代码 #

# 加载dplyr（如果未安装先运行install.packages("dplyr")）
library(dplyr)

# 定义分组变量
group_vars <- c("sex", "age_group", "education", "sector_eu")

# 批量处理每个数据集：聚合+变量重命名
processed_list <- lapply(list_df, function(df) {
  # 获取当前数据集的时间戳（假设year_month是时间标识列，同一数据集时间统一）
  time_stamp <- unique(df$year_month)
  if(length(time_stamp) > 1) stop("单个数据集包含多个时间点，请检查数据")
  
  # 自动识别所有非分组、非时间变量（包括额外的第15、16列）
  non_group_vars <- setdiff(names(df), c(group_vars, "year_month"))
  
  # 按分组变量聚合：这里以均值为例，可按需替换为sum/median/first等聚合方式
  aggregated_df <- df %>%
    group_by(across(all_of(group_vars))) %>%
    summarise(across(all_of(non_group_vars), ~mean(.x, na.rm = TRUE)), .groups = "drop")
  
  # 给非分组变量添加时间戳后缀
  names(aggregated_df)[!names(aggregated_df) %in% group_vars] <- 
    paste(names(aggregated_df)[!names(aggregated_df) %in% group_vars], time_stamp, sep = "_")
  
  return(aggregated_df)
})

# 合并所有处理后的组数据，all=TRUE保留所有分组组合（缺失时间点用NA填充）
result <- Reduce(function(x, y) merge(x, y, by = group_vars, all = TRUE), processed_list)

result

代码说明 #

• 聚合逻辑：通过group_by+summarise将每个数据集内同一分组的多个个体合并为一行，彻底避免merge时的笛卡尔积问题。聚合函数可根据需求调整：比如用first(.x)取组内第一个值，sum(.x)求和，median(.x)取中位数等。
• 动态变量处理：用setdiff自动识别所有需要保留的变量，不管是原有的10-14列还是额外的15-16列，都会被添加时间戳后缀，确保全部纳入伪面板。
• 合并参数：all=TRUE会保留所有存在过的分组组合，若只需要保留所有时间点都有数据的分组，可删除该参数。

内容的提问来源于stack exchange，提问作者Ronald