如何过滤存在指定长度及以上连续缺失序列的数据？

你可以通过生成每组的完整Slice序列，对比实际存在的序列找出缺失值，再计算连续缺失块的长度，以此判断是否需要过滤该组。以下是具体实现：

示例数据 #

先构造符合你描述的测试数据：

library(dplyr)
library(tidyr)

df <- tibble(
  GroupID = c(rep("A", 8), rep("B", 5), rep("C", 5)),
  Slice = c(1:8, 1, 3, 4, 6, 8, 1, 2, 5, 7, 8)
)

处理步骤 #

1. 按GroupID分组，生成该组理论上的完整Slice序列（这里假设完整序列从组内最小Slice到最大Slice，如果你预期所有组都从1开始，把min(Slice)替换为1即可）
2. 找出每组缺失的Slice值
3. 计算每个连续缺失块的长度，判断是否存在长度≥2的缺失块
4. 过滤掉存在大缺失块的组

# 第一步：分析每组的缺失块情况
gap_analysis <- df %>%
  group_by(GroupID) %>%
  summarise(
    # 生成该组应有的完整Slice序列
    full_slices = list(seq(min(Slice), max(Slice))),
    # 提取该组实际存在的Slice序列
    existing_slices = list(Slice)
  ) %>%
  # 找出缺失的Slice值
  mutate(missing_slices = map2(full_slices, existing_slices, setdiff)) %>%
  # 计算每个连续缺失块的长度
  mutate(
    block_lengths = map(missing_slices, function(missing) {
      if (length(missing) == 0) return(integer(0))
      # 用差值判断连续缺失的分组
      diffs <- c(1, diff(missing))
      block_groups <- cumsum(diffs != 1)
      # 统计每个块的长度
      tapply(missing, block_groups, length)
    }),
    # 标记该组是否存在长度≥2的缺失块
    has_large_gap = map_lgl(block_lengths, ~ any(.x >= 2))
  )

# 第二步：过滤掉含大缺失块的组
filtered_df <- df %>%
  inner_join(gap_analysis %>% filter(!has_large_gap) %>% select(GroupID), by = "GroupID")

结果说明 #

• 运行后filtered_df仅保留Group A和Group B，Group C因存在连续2个的缺失块（Slice 3、4）被过滤
• 原代码的问题在于仅计算了相邻观测的差值，无法覆盖首尾的缺失块，而通过生成完整序列对比的方式，能全面识别所有位置的连续缺失

内容的提问来源于stack exchange，提问作者user21008368