如何在R中按y1/y2唯一且保留最大time筛选数据框列表

这里推荐两种高效的实现方案，分别适用于常规数据量和超大数据量场景：

方案1：dplyr + purrr（常规数据量首选） #

用dplyr处理分组筛选逻辑，purrr处理列表转换，步骤清晰易读：

1. 加载依赖包 #

install.packages(c("dplyr", "purrr"))
library(dplyr)
library(purrr)

2. 执行筛选 #

# 合并列表中所有数据框，自动补全缺失列（填充NA）
combined_df <- bind_rows(input)

# 按y1、y2分组，保留每组time最大的条目
filtered_df <- combined_df %>%
  group_by(y1, y2) %>%
  filter(time == max(time)) %>%
  ungroup()

# 将筛选结果拆分为数据框列表
output <- filtered_df %>%
  split(seq(nrow(.))) %>%
  map(as.data.frame)

方案2：data.table（超大数据量首选） #

如果你的数据规模达到百万级以上，data.table的分组运算效率会显著高于dplyr：

1. 加载依赖包 #

install.packages("data.table")
library(data.table)

2. 执行筛选 #

# 合并列表为data.table，自动补全缺失列
combined_dt <- rbindlist(input, fill = TRUE)

# 按y1、y2分组，筛选time最大的行
filtered_dt <- combined_dt[, .SD[time == max(time)], by = .(y1, y2)]

# 转换为目标列表格式
output <- split(filtered_dt, seq(nrow(filtered_dt))) %>%
  map(as.data.frame)

关键逻辑说明 #

• 合并数据框时，bind_rows（dplyr）和rbindlist(fill=TRUE)（data.table）都能自动处理列数不一致的情况，缺失列填充NA，解决了输入列表中数据框结构不同的问题。
• 分组筛选时，通过y1+y2作为分组键，直接提取每组中time值最大的条目，精准匹配需求。
• 最后通过split+map将筛选结果拆分为单个数据框组成的列表，和你期望的输出格式完全一致。

内容的提问来源于stack exchange，提问作者Telis