在R中按ID匹配最近时间戳并限制最大时间差合并两个数据框

第一步：统一时间格式 #

首先需要将df2中的Collecting_time字符型时间转换为和df1一致的POSIXct格式，确保时区统一为UTC：

# 使用dplyr+lubridate
library(dplyr)
library(lubridate)

df2 <- df2 %>%
  mutate(Collecting_time = ymd_hms(Collecting_time, tz = "UTC"))

# 或者用base R
df2$Collecting_time <- as.POSIXct(df2$Collecting_time, tz = "UTC")

方法一：dplyr分组匹配（适合小数据集） #

按ID分组后，为每个时间点找到同ID下df2中最近的时间，判断时间差是否小于10分钟（600秒），符合条件则匹配ODBA，否则设为NA：

result_df <- df1 %>%
  group_by(ID) %>%
  mutate(
    # 找到同ID下最近的时间点对应行
    nearest_entry = map(timestamp, ~ df2 %>%
                          filter(ID == cur_group()$ID) %>%
                          slice(which.min(abs(difftime(.x, Collecting_time, units = "secs"))))),
    # 计算时间差并提取ODBA
    time_diff = abs(difftime(timestamp, map_dbl(nearest_entry, ~ .x$Collecting_time), units = "secs")),
    ODBA = ifelse(time_diff <= 600, map_dbl(nearest_entry, ~ .x$ODBA), NA_real_)
  ) %>%
  ungroup() %>%
  select(-nearest_entry, -time_diff) # 移除中间计算列

方法二：data.table高效匹配（适合大数据集） #

利用data.table的非等连接和滚动匹配功能，处理速度远快于dplyr，适合大规模数据场景：

library(data.table)

# 转换为data.table对象
setDT(df1)
setDT(df2)

# 统一时间格式（若未完成转换）
df2[, Collecting_time := as.POSIXct(Collecting_time, tz = "UTC")]

# 设置键，按ID和时间排序
setkey(df1, ID, timestamp)
setkey(df2, ID, Collecting_time)

# 滚动匹配最近时间，过滤时间差后整理结果
result_dt <- df2[df1, on = .(ID, Collecting_time <= timestamp), roll = "nearest"] %>%
  mutate(time_diff = abs(difftime(timestamp, Collecting_time, units = "secs"))) %>%
  mutate(ODBA = fifelse(time_diff <= 600, ODBA, NA_integer_)) %>%
  # 恢复原df1的列顺序
  select(timestamp, location_long, location_lat, ID, ODBA)

关键注意事项 #

• 确保两个数据集的ID格式完全一致，避免因字符/因子类型差异导致分组失败
• 时间时区必须统一，否则时间差计算会出现错误
• 若需调整时间阈值，只需修改代码中的600（单位：秒）即可，比如15分钟对应900秒

内容的提问来源于stack exchange，提问作者reinoud