R语言处理长时段NA值：匹配列替换与同地块均值填充

步骤1：预处理时间列 #

先把时间列转为可计算格式，生成时间间隔列用于判断连续NA的时长：

# 转换Time列为POSIXct格式（若尚未转换）
test$Time <- as.POSIXct(test$Time)
# 计算每行与上一行的时间差（单位：分钟）
test$time_diff <- c(0, difftime(test$Time[-1], test$Time[-nrow(test)], units = "mins"))

步骤2：定义单列连续NA处理函数 #

这个函数会识别列中连续时长超30分钟的NA段，按规则填充：

fill_long_na <- function(col_name, df, threshold = 30) {
  # 提取当前列前缀（SWC_或Tsoil_），找到同组的其他列
  prefix <- substr(col_name, 1, 4)
  same_group_cols <- grep(paste0("^", prefix), names(df), value = TRUE)
  same_group_cols <- same_group_cols[same_group_cols != col_name]
  
  # 获取当前列的NA标记
  na_flags <- is.na(df[[col_name]])
  # 用rle识别连续NA片段
  na_rle <- rle(na_flags)
  
  # 计算每个片段的起止索引，以及NA片段的总时长
  start_indices <- c(1, cumsum(na_rle$lengths)[-length(na_rle$lengths)] + 1)
  end_indices <- cumsum(na_rle$lengths)
  
  segment_durations <- sapply(seq_along(na_rle$values), function(i) {
    if (na_rle$values[i]) sum(df$time_diff[start_indices[i]:end_indices[i]]) else 0
  })
  
  # 筛选出需要填充的NA片段（时长超30分钟）
  fill_segs <- which(na_rle$values & segment_durations > threshold)
  
  # 处理每个需要填充的片段
  for (seg in fill_segs) {
    seg_start <- start_indices[seg]
    seg_end <- end_indices[seg]
    
    for (row in seg_start:seg_end) {
      # 1. 优先用同时间点同组其他列的非NA均值替换
      row_vals <- df[row, same_group_cols]
      non_na_vals <- row_vals[!is.na(row_vals)]
      
      if (length(non_na_vals) > 0) {
        df[row, col_name] <- mean(non_na_vals, na.rm = TRUE)
      } else {
        # 2. 同组列全NA时，用当前列的整体均值填充
        df[row, col_name] <- mean(df[[col_name]], na.rm = TRUE)
      }
    }
  }
  
  return(df[[col_name]])
}

步骤3：批量处理所有目标列 #

筛选出SWC_*和Tsoil_*列，批量应用填充逻辑：

# 获取所有需要处理的目标列
target_cols <- grep("^(SWC_|Tsoil_)", names(test), value = TRUE)

# 对每个目标列执行填充
test[target_cols] <- lapply(target_cols, function(col) fill_long_na(col, test))

# 删除临时时间间隔列
test$time_diff <- NULL

关键说明 #

• 通过逐列调用rle解决了其仅支持向量的限制，适配数据框场景。
• 严格遵循规则：仅处理连续超30分钟的NA，优先用同时间点同组列值填充，全NA时用列均值；不足30分钟的NA保留原样。
• 假设Time列是按时间顺序排列的，若存在时间断点，需先用tidyr::complete补全时间序列再执行上述逻辑。

内容的提问来源于stack exchange，提问作者LEE