R语言面板数据处理：保留同ID同年最新观测适配plm包

原始问题场景 #

初始面板数据集构建代码如下：

ID_column<- c("A","A","A","A","B","B","B","B")
Date_column<-c(20040131, 20041231,20051231,20061231, 20051231, 20061231, 20071231, 20081231)
Price_column<-c(12,13,17,19,35,38,39,41)
Data<- data.frame(ID_column, Date_column, Price_column)

直接将8位数值型日期截为4位年份后，会出现同一ID同一年份多条记录的问题，例如ID=A在2004年存在1月31日、12月31日两条观测，导致pdata.frame()报ID/Time配对重复错误，无法开展plm面板回归。需求为按ID+年度分组，仅保留每组内8位日期值最大的最新观测，且方案需适配大体量数据集。

核心提示：不要提前覆盖原始8位日期列，否则会丢失日期先后判断依据，需保留原始日期完成筛选后，再转换为年度格式。

高效实现方案 #

不推荐手动编写R层for循环实现该逻辑，R的原生分组操作函数均为底层C实现，运行效率比手写循环高数十到上百倍，可轻松适配百万到千万级体量数据集，以下提供两种生产环境常用方案：

方案1：data.table实现（性能最优，首选大体量场景） #

data.table是R中处理大体量表格数据性能最高的包，内存占用低、运行速度快，代码如下：

# 加载包
library(data.table)
# 原地转换为data.table对象，无内存副本
setDT(Data)
# 新增临时年度列，保留原始8位日期
Data[, year_col := substr(as.character(Date_column), 1, 4)]
# 按ID+年度分组，保留每组内日期最大的最新观测
Data_clean <- Data[order(-Date_column), .SD[1], by = .(ID_column, year_col)]
# 将原始日期列替换为年度值，删除临时列，适配plm索引要求
Data_clean[, `:=`(Date_column = year_col, year_col = NULL)]

处理完成后可运行any(duplicated(Data_clean[, .(ID_column, Date_column)]))验证，返回FALSE即说明不存在重复ID-年度配对。

方案2：dplyr实现（适配tidyverse生态习惯） #

如果日常使用tidyverse系列函数更多，可使用dplyr分组筛选实现，百万行级数据运行无压力：

library(dplyr)
Data_clean <- Data %>%
  mutate(year_col = substr(as.character(Date_column), 1, 4)) %>%
  group_by(ID_column, year_col) %>%
  # 筛选组内日期最大的记录
  filter(Date_column == max(Date_column)) %>%
  ungroup() %>%
  mutate(Date_column = year_col) %>%
  select(-year_col)

plm对接操作 #

去重完成后，可直接转换为plm要求的面板数据格式，不会再触发重复报错：

library(plm)
pData <- pdata.frame(Data_clean, index = c("ID_column", "Date_column"))
# 验证索引无重复
stopifnot(!any(duplicated(index(pData))))

内容的提问来源于stack exchange，提问作者ECF