在R语言中基于最近日期从列提取数据的问题求助

1. 识别重复的id+date组合 #

无需用循环，用dplyr或Base R即可高效找出所有id和date均重复的行：

dplyr 实现 #

library(dplyr)
# 筛选并排序所有id+date重复的行
dup_records <- df_ex_long %>%
  group_by(id, date) %>%
  filter(n() > 1) %>%
  arrange(id, date)

# 打印结果
print(dup_records)

Base R 实现 #

# 标记所有重复的id+date行（包括首次出现的重复项）
dup_indices <- duplicated(df_ex_long[c("id", "date")]) | duplicated(df_ex_long[c("id", "date")], fromLast = TRUE)
dup_records <- df_ex_long[dup_indices, ]

# 打印结果
print(dup_records)

导出这些重复记录后，可手动选择保留对应的value，得到去重后的df_ex_long_clean。

2. 匹配最近日期的value到主数据集 #

核心思路是按id分组，计算长表记录与主表key_date的日期差，筛选出差值最小的记录，再合并回主数据集。

方法一：使用dplyr（适合中小数据集） #

library(dplyr)

# 合并主数据集与去重后的长表，计算日期差并筛选最近记录
matched_result <- df_ex_original %>%
  left_join(df_ex_long_clean, by = "id") %>%
  # 将日期差转为数值型以计算绝对值
  mutate(date_diff = abs(as.numeric(key_date - date))) %>%
  group_by(id) %>%
  # 筛选当前id下日期差最小的记录
  filter(date_diff == min(date_diff, na.rm = TRUE)) %>%
  # 若存在多个相同最小差的记录，取第一条
  slice(1) %>%
  ungroup() %>%
  # 保留需要的列并合并回主数据集
  select(id, matched_value = value) %>%
  right_join(df_ex_original, by = "id")

方法二：使用data.table（适合大数据集，效率更高） #

library(data.table)

# 转换为data.table格式
setDT(df_ex_original)
setDT(df_ex_long_clean)

# 计算日期的数值型表示，方便计算差值
df_ex_original[, key_date_num := as.numeric(key_date)]
df_ex_long_clean[, date_num := as.numeric(date)]

# 按id匹配并筛选最近日期的记录
matched_data <- df_ex_long_clean[df_ex_original, on = .(id),
                                 .(id, key_date, value, date_diff = abs(key_date_num - date_num)),
                                 allow.cartesian = TRUE] %>%
  .[, .SD[which.min(date_diff)], by = id]

# 将匹配结果合并回主数据集
df_ex_original[matched_data, on = .(id), matched_value := value]
# 清理临时列
df_ex_original[, key_date_num := NULL]

对之前尝试问题的说明 #

• reshape转宽表不符合需求：reshape的timevar参数会将该变量的每个唯一值作为新列名，生成多个日期列是函数的正常行为，转宽表无法实现你的匹配需求，应直接用分组匹配逻辑。
• which.min报错原因：直接对长度不一致的日期向量做差会出错，必须按id分组后，在每个id的子集中计算日期差，才能找到对应id的最近日期。

内容的提问来源于stack exchange，提问作者Mark A-L