如何基于时间阈值自动剔除插值数据中的大间隔插值行？

核心思路 #

要剔除大时间间隔下的不合理插值行，关键是区分原始数据行与插值行，定位到相邻原始数据点间隔超过阈值的时间段，最终移除该时间段内的所有插值行。

实现步骤（基于dplyr） #

假设你的数据包含：

• site：地点列（分组依据）
• datetime：时间列（需为POSIXct格式）
• temp：温度列（插值后无缺失）
• 原始数据存储在df_original中（未插值、含缺失的原始记录）

1. 标记原始数据行 #

先在插值后的数据集中标记真实的原始记录，避免误删有效数据：

library(dplyr)

df_interpolated <- df_interpolated %>%
  mutate(is_original = if_else(
    # 同时匹配地点和时间，避免不同地点的同时间记录混淆
    paste(site, datetime) %in% paste(df_original$site, df_original$datetime),
    TRUE,
    FALSE
  ))

2. 分组计算原始点的时间间隔 #

按地点分组后，将数据按时间排序，再计算相邻原始数据点的时间间隔：

df_processed <- df_interpolated %>%
  group_by(site) %>%
  arrange(datetime, .by_group = TRUE) %>%
  # 用累计求和为每个原始点及中间插值行分配组ID
  mutate(original_group = cumsum(is_original)) %>%
  # 按组计算前后原始点的时间间隔（单位：小时）
  group_by(site, original_group) %>%
  mutate(
    interval_hours = as.numeric(
      difftime(last(datetime[is_original]), first(datetime[is_original]), units = "hours")
    )
  ) %>%
  ungroup()

3. 剔除超阈值的插值行 #

设定时间阈值（如12小时），保留原始行和间隔符合要求的插值行：

# 设定时间阈值
threshold <- 12

df_cleaned <- df_processed %>%
  filter(is_original | interval_hours <= threshold) %>%
  # 清理临时辅助列
  select(-is_original, -original_group, -interval_hours)

注意事项 #

• 确保datetime列是POSIXct/POSIXlt格式，若为字符型需先转换：

  df_interpolated$datetime <- as.POSIXct(df_interpolated$datetime, format = "%Y-%m-%d %H:%M:%S")
  

• 必须保留原始数据df_original，这是区分原始行与插值行的核心依据；若原始数据已丢失，可尝试通过插值前的缺失标记反向识别，但可靠性较低。

内容的提问来源于stack exchange，提问作者LulY