如何根据日期字段筛选数据集中的最新更新记录（附R语言实现参考）

• 适用场景：数据表每行对应一条记录，更新生成的子记录与原父记录属同一条业务数据的不同版本，仅部分字段存在差异；每条记录携带datetime类型的插入日期字段，需要从全量数据中筛选出每条业务数据的最新版本记录。

按原有行序快速实现 #

如果你的数据集已经按插入时间从小到大完成排序，同组（判定重复的字段集合dup.index值完全一致的记录组）中越靠后的记录版本越新，可以直接使用去重逻辑筛选，注意修正原代码里的变量名笔误：

# dup.index为用于判定是否为同一条业务记录的字段列集合，例如业务主键列
my_dataset <- my_dataset[which(!duplicated(dup.index, fromLast = TRUE)),]

这里duplicated()设置参数fromLast = TRUE后，会从数据集末尾向前判断重复值，同组记录中最靠后的一条会被判定为非重复项，其余同组老版本记录会被标记为重复项过滤掉，刚好匹配取最新版本的需求。

不依赖原有排序的稳妥实现 #

如果数据集没有提前按插入时间排序，直接按行序去重可能取到错误的版本，建议先排序再去重，逻辑更严谨。

基础R实现 #

# 请将insert_time替换为你表中实际的插入日期字段名
# 先按去重字段分组、组内按插入时间从早到晚排序
my_dataset <- my_dataset[order(
  my_dataset[, dup.index],
  my_dataset$insert_time,
  decreasing = FALSE
), ]
# 排序后再去重，取每组最后一条即最新版本
my_dataset <- my_dataset[!duplicated(my_dataset[, dup.index], fromLast = TRUE), ]

dplyr实现 #

library(dplyr)
my_dataset <- my_dataset %>%
  # 先按去重字段、插入时间正序排列
  arrange(across(all_of(dup.index)), insert_time) %>%
  # 过滤重复项，保留每组最新记录
  filter(!duplicated(across(all_of(dup.index)), fromLast = TRUE))

提示：如果同组内存在多条记录插入时间完全相同的情况，可以追加一个无重复的字段（比如自增记录ID）作为排序的第二依据，避免取到非预期的版本。

内容的提问来源于stack exchange，提问作者Rüdiger Kladt