R语言中如何按ID分组并基于指定列数值运算规则删除行
R语言按分组过滤GOIcp异常值解决方案
实现逻辑
- 按ID字段对数据集分组
- 对每个分组先判断所有GOIcp两两差值的绝对值是否全部大于1.5:如果满足条件则保留该分组全部行
- 若不满足上述条件,则仅保留分组内存在至少一个其他行GOIcp与当前行差值≤1.5的行,删除和所有其他行差值都超过1.5的异常行
实现代码
1. tidyverse实现(简洁高效,推荐)
library(tidyverse) result <- df1 %>% group_by(ID) %>% filter({ # 生成组内所有GOIcp两两差值的绝对值矩阵 all_diff <- abs(outer(GOIcp, GOIcp, `-`)) # 排除自身和自身的差值(对角线值) diag(all_diff) <- NA # 判断组内所有非自身的差值是否都大于1.5 all_gt_threshold <- all(all_diff > 1.5, na.rm = TRUE) if (all_gt_threshold) { # 所有行差值都超阈值,全部保留 rep(TRUE, n()) } else { # 仅保留存在至少一个其他行差值≤1.5的行 apply(all_diff <= 1.5, 1, any, na.rm = TRUE) } }) %>% ungroup()
2. 原生R实现(无需加载第三方包)
result <- do.call(rbind, by(df1, df1$ID, function(sub_df) { goi_vec <- sub_df$GOIcp all_diff <- abs(outer(goi_vec, goi_vec, `-`)) diag(all_diff) <- NA all_gt_threshold <- all(all_diff > 1.5, na.rm = TRUE) if (all_gt_threshold) return(sub_df) keep_flag <- apply(all_diff <= 1.5, 1, any, na.rm = TRUE) return(sub_df[keep_flag, ]) })) # 重置行号 rownames(result) <- NULL
两种实现输出的结果都和你提供的预期结果完全一致,无需手动指定删除的行,适配任意规模的数据集,超大规模数据集可改用data.table包实现进一步优化运行效率。
内容的提问来源于stack exchange,提问作者jc2525
相关产品推荐
相关产品推荐

