R语言处理百万行秒级压力数据：按时长条件清除异常尖峰

核心思路 #

• 对压力值是否高于阈值10000的状态做连续分组，同分组内的状态（高于/低于阈值）完全一致
• 统计每个高压分组的持续时长：你的数据是每秒采集1条，所以分组内的行数就等于持续秒数；如果存在时间断档，可以用DateTime列计算实际时长
• 仅对持续时长小于120秒的高压分组，统一将对应压力值置0

完整可运行代码 #

基于data.table实现，处理100万+行数据效率极高：

# 加载依赖包
library(data.table)
# 将数据框转为data.table格式
setDT(df)
# 步骤1：生成连续状态分组标识，状态切换时分组ID自动累加
df[, group_id := rleid(Pressure > 10000)]
# 步骤2：按分组统计两个辅助字段：分组长度、是否为高压分组
df[, `:=`(
  group_len = .N,
  is_high_group = first(Pressure > 10000)
), by = group_id]
# 步骤3：筛选出持续时长<120秒的高压分组，将对应压力值置0
df[is_high_group == TRUE & group_len < 120, Pressure := 0]
# 可选：删除临时生成的辅助列，恢复原表结构
df[, c("group_id", "group_len", "is_high_group") := NULL]

特殊场景适配 #

如果你的数据集存在缺失的采集行（时间不连续），可以替换步骤2的代码，用DateTime列计算实际持续时长：

df[, `:=`(
  # 计算分组首尾时间差，加1是为了包含首尾两个时间点的秒数
  group_duration = as.numeric(difftime(last(DateTime), first(DateTime), units = "secs")) + 1,
  is_high_group = first(Pressure > 10000)
), by = group_id]
# 对应步骤3的判断条件改为：
df[is_high_group == TRUE & group_duration < 120, Pressure := 0]

之前代码的问题说明 #

1. for循环报错是因为判断条件df$Pressure > 10000返回的是和数据行数等长的布尔向量，而if语句只能接受单个布尔值作为判断条件
2. 之前的setDT写法没有做连续分组，sum逻辑是全局求和，因此会把所有高于10000的值全部置0

内容的提问来源于stack exchange，提问作者new2data