如何在R中从超大规模数据集定位并删除指定范围的数据？

核心思路：保留原始行号，用代码精准定位 #

先给数据集添加原始行号列，后续所有筛选操作都能直接获取目标行的原始索引，彻底告别手动滚动查找：

# 给1500万行数据集添加原始行号列，执行一次即可
Data$original_row <- seq(nrow(Data))

如果用data.table处理大数据集更高效，可直接用内置的.I生成原始行号：

library(data.table)
setDT(Data)
Data[, original_row := .I]

针对两类伪影的定位与删除方法 #

1. 连续时段的设备错误数据（如2003-12-11的多段伪影）

通过日期时间范围筛选，直接提取对应原始行号：

# 单一时段示例：筛选2003-12-11 08:00到14:30的所有行
bad_rows_continuous <- Data$original_row[
  Data$datetime >= as.POSIXct("2003-12-11 08:00:00") & 
  Data$datetime <= as.POSIXct("2003-12-11 14:30:00")
]

# 多个时段示例：先定义所有需删除的时间区间
time_intervals <- list(
  c("2003-12-11 08:00:00", "2003-12-11 10:00:00"),
  c("2003-12-11 12:30:00", "2003-12-11 14:30:00")
)

# 批量提取所有坏行号
bad_rows_continuous <- c()
for(interval in time_intervals) {
  start <- as.POSIXct(interval[1])
  end <- as.POSIXct(interval[2])
  bad_rows_continuous <- c(bad_rows_continuous, 
                          Data$original_row[Data$datetime >= start & Data$datetime <= end])
}

# 执行删除
DataNoArtifacts <- Data[-bad_rows_continuous, ]

2. 随机分布的异常分钟数据（如2014-03-10的40个风速异常值）

结合日期与数值特征筛选，精准定位异常行的原始索引：

# 筛选2014-03-10当天风速为20m/s的异常行
bad_rows_random <- Data$original_row[
  as.Date(Data$datetime) == as.Date("2014-03-10") & 
  Data$wind_speed == 20
]

# 若异常值是范围（如19.9-20.1），可调整条件：
# bad_rows_random <- Data$original_row[
#   as.Date(Data$datetime) == as.Date("2014-03-10") & 
#   Data$wind_speed >= 19.9 & Data$wind_speed <= 20.1
# ]

# 执行删除
DataNoArtifacts <- Data[-bad_rows_random, ]

3. 特定异常点周边的时段伪影

如果需要删除某个异常点前后N分钟的所有数据，可按时间窗口筛选：

# 定义异常点的时间
bad_point_time <- as.POSIXct("2014-03-10 15:23:00")
# 设置时间窗口（例：前后10分钟，转成秒）
window_sec <- 10 * 60

# 筛选窗口内的所有行
bad_rows_window <- Data$original_row[
  Data$datetime >= bad_point_time - window_sec & 
  Data$datetime <= bad_point_time + window_sec
]

# 执行删除
DataNoArtifacts <- Data[-bad_rows_window, ]

注意事项 #

• 处理1500万行的大数据集时，优先用data.table而非基础R或dplyr，大幅提升筛选效率
• 所有操作均通过代码完成，避免手动滚动数据集，既高效又能避免人为误差

内容的提问来源于stack exchange，提问作者onethirdofimpossible