R语言如何按uniqueID提取最新年份并补全缺失值

核心实现逻辑 #

• 严格遵循优先级规则：优先提取每个uniqueID下最新年份的字段值，不因旧年份行信息更全就跳过年份优先级
• 统一识别两类无效值：R内置的NA、字段值为空字符串""
• 当最新年份的字段存在无效值时，自动按年份从近到远回溯，取同列第一个非无效值
• 自动记录所有补全过程中使用到的年份，去重后按时间倒序拼接为"2016&2015"格式的合并年份列

常见实现误区 #

过往方案无法满足需求的核心逻辑偏差点：

• 直接筛选每个ID的最新年份整行，不处理行内单个字段的缺失，导致有效信息大量丢失
• 优先筛选每个ID下非缺失值最多的行，完全忽略年份的最新优先级，违背“优先取最新值”的初始规则

可直接运行的代码实现 #

依赖data.table包完成高效分组计算，无需额外安装重型包：

# 加载data.table依赖
library(data.table)
# 转换测试数据为data.table格式，按uniqueID分组、组内按年份降序排列
setDT(dta)
setorder(dta, uniqueID, -year)

# 定义无效值判定函数，同时识别NA和空字符串
is_invalid <- function(x) {
  is.na(x) | x == ""
}

# 逐组执行回溯补全
result <- dta[, {
  res <- list()
  year_collect <- c()
  # 遍历所有需要提取的变量
  for (target_var in c("var1", "var2", "var3", "var4")) {
    # 从最新到最旧匹配第一个有效非缺失值
    valid_pos <- which(!is_invalid(.SD[[target_var]]))[1]
    if (!is.na(valid_pos)) {
      res[[target_var]] <- .SD[[target_var]][valid_pos]
      year_collect <- c(year_collect, .SD$year[valid_pos])
    } else {
      res[[target_var]] <- NA
    }
  }
  # 拼接所有用到的年份，去重后倒序排列
  merged_year <- paste(sort(unique(year_collect), decreasing = TRUE), collapse = "&")
  c(list(year = merged_year), res)
}, by = uniqueID, .SDcols = c("year", "var1", "var2", "var3", "var4")]

输出结果说明 #

运行代码后得到的输出完全匹配需求规则：

• 每个uniqueID仅保留1行结果
• 所有字段优先取最新年份的有效值，缺失值自动完成回溯补全
• 合并年份列自动记录补全过程涉及的所有年份，无需手动统计
  注：示例预期结果中952911的var2值2018为笔误，实际测试数据中该字段有效值为2108，代码运行结果会和原始测试数据完全对齐

内容的提问来源于stack exchange，提问作者st2coker