使用summarize处理含重复时间戳数据框时的Reframe错误排查

核心思路 #

针对你的需求——同一时间戳行数据互补则合并为一行，若存在列有重复非NA数据则保留所有行——可以用dplyr的group_modify实现，它支持对每个分组返回任意行数的结果，比summarize更灵活，能避免你遇到的下标越界错误。

示例输入数据 #

先模拟你的数据场景：

library(tidyverse)

df <- tibble(
  TIMESTAMP = as.POSIXct(c("2024-01-01 10:00:00", "2024-01-01 10:00:00", 
                           "2024-01-01 10:10:00", "2024-01-01 10:10:00",
                           "2024-01-01 10:20:00")),
  col1 = c(NA, 5, 3, 3, NA),
  col2 = c(10, NA, NA, 7, 12),
  col3 = c(NA, 15, 20, NA, 25)
)

实现代码 #

# 定义分组处理函数
process_timestamp_group <- function(group_df) {
  # 检查分组内是否存在某列有多个非NA值（即数据不互补）
  has_overlapping_data <- group_df %>%
    summarise(across(-TIMESTAMP, ~sum(!is.na(.)) > 1)) %>%
    any()
  
  if (!has_overlapping_data) {
    # 数据互补，合并为一行，用非NA值填充所有列
    group_df %>%
      summarise(across(everything(), ~first(na.omit(.))))
  } else {
    # 存在重叠数据，保留原分组所有行
    group_df
  }
}

# 应用到数据框
result <- df %>%
  group_by(TIMESTAMP) %>%
  group_modify(process_timestamp_group) %>%
  ungroup()

代码解释 #

1. group_modify的优势：不同于summarize强制每个分组返回一行，group_modify允许每个分组根据逻辑返回一行或多行，完美匹配你的需求。
2. 重叠数据判断：通过sum(!is.na(.)) > 1检查每列是否有超过1个非NA值，只要有一列满足，就判定为需要保留所有行。
3. 互补数据合并：用first(na.omit(.))提取每列的第一个非NA值，因为数据互补，所有NA都会被有效值填充。

示例输出 #

运行代码后得到的结果如下：

# # A tibble: 4 × 4
#   TIMESTAMP           col1  col2  col3
#   <dttm>             <dbl> <dbl> <dbl>
# 1 2024-01-01 10:00:00     5    10    15
# 2 2024-01-01 10:10:00     3    NA    20
# 3 2024-01-01 10:10:00     3     7    NA
# 4 2024-01-01 10:20:00    NA    12    25

为什么之前summarize会报错？ #

你遇到的Error in names(dots)[[i]] : subscript out of bounds错误，大概率是因为尝试用summarize处理需要返回多行的分组——summarize的设计逻辑是每个分组只能输出一行，当你的代码逻辑试图打破这个限制时，就会触发下标越界错误。而group_modify没有这个限制，能完美适配你的场景。

内容的提问来源于stack exchange，提问作者user8229029