R语言如何高效实现同F1分组下跨行的F3值包含判断
R 同分组跨行F3包含关系判定实现方案
需求背景
需要在R中对数据集做跨行比较,原始数据集示例:
| F1 | F2 | F3 |
|---|---|---|
| C300100 | M1001 | abc |
| C300100 | M1002 | abc,def |
| C300100 | M1003 | abc,def,ghi |
| C300101 | M1004 | q |
| C300101 | M1005 | q,r |
| C300101 | M1006 | q,r,s |
| C300101 | M1007 | a,b,c,d |
| C30010111 | C300101 | abc |
| C30010111 | C300101 | def,khy |
| C30010199 | cc | c23 |
预期输出
新增逻辑列F4,示例结果:
| F1 | F2 | F3 | F4 |
|---|---|---|---|
| C300100 | M1001 | abc | TRUE |
| C300100 | M1002 | abc,def | TRUE |
| C300100 | M1003 | abc,def,ghi | TRUE |
| C300101 | M1004 | q | TRUE |
| C300101 | M1005 | q,r | TRUE |
| C300101 | M1006 | q,r,s | TRUE |
| C300101 | M1007 | a,b,c,d | FALSE |
| C30010111 | M1008 | abc | FALSE |
| C30010111 | C300101 | def,khy | FALSE |
| C30010199 | cc | c23 | FALSE |
判定规则
- 按
F1列对数据集分组,保留原始行顺序 - 逐行检查:当前行
F3拆分出的所有元素,需全部出现在同分组的后续行F3的元素集合中,满足则标记F4=TRUE,否则为FALSE
高效实现方案
推荐生态
优先使用tidyverse生态工具,无复杂循环,向量化操作性能远高于基础R手写循环;针对百万行以上的超大数据集,可搭配data.table进一步提升运算速度。
Tidyverse 实现代码
library(dplyr) library(tidyr) library(purrr) # 读入原始数据(根据实际场景替换为自己的数据读取逻辑) df <- tribble( ~F1, ~F2, ~F3, "C300100", "M1001", "abc", "C300100", "M1002", "abc,def", "C300100", "M1003", "abc,def,ghi", "C300101", "M1004", "q", "C300101", "M1005", "q,r", "C300101", "M1006", "q,r,s", "C300101", "M1007", "a,b,c,d", "C30010111", "C300101", "abc", "C30010111", "C300101", "def,khy", "C30010199", "cc", "c23" ) process_df <- df %>% # 保留原始行号,避免排序打乱顺序 mutate(.row_id = row_number(), # 按逗号拆分F3,去重得到元素集合;如有逗号后带空格场景,可调整为 strsplit(F3, ",\\s*") f3_set = strsplit(F3, ",", fixed = TRUE) %>% map(unique)) result <- process_df %>% group_by(F1) %>% # 组内按原始行号排序,保持原顺序 arrange(.row_id, .by_group = TRUE) %>% mutate( # 计算当前行后续所有行的元素并集 later_union = map( .row_id, ~ reduce(f3_set[.row_id > .x], union, .init = character(0)) ), # 判定当前行元素是否全部在后续并集中 F4 = map2_lgl(f3_set, later_union, ~ all(.x %in% .y)) ) %>% ungroup() %>% # 删除中间计算列 select(-.row_id, -f3_set, -later_union)
超大数据集优化实现(data.table)
数据量超过10万行时,使用data.table分组运算速度可提升5-10倍:
library(data.table) setDT(process_df) result <- process_df[, { n <- .N # 逐行计算后续元素并集 later_unions <- lapply(seq_len(n), function(i) { if (i == n) return(character(0)) unique(unlist(f3_set[(i+1):n])) }) # 判定子集关系 F4 <- mapply(function(s, u) all(s %in% u), f3_set, later_unions) .(F4 = F4) }, by = F1]
逻辑调整说明
- 若需要将无后续行的组尾行默认判定为
TRUE,仅需修改F4的计算逻辑:F4 = map2_lgl(f3_set, later_union, ~ if (length(.y) == 0) TRUE else all(.x %in% .y)) - 若判定规则为“当前行所有元素需全部被某一个单独的后续行包含”(而非分散在多个后续行中),仅需替换
later_union的计算逻辑,改为判断是否存在后续行的集合完全包含当前行元素即可。
内容的提问来源于stack exchange,提问作者user13472171
相关产品推荐
相关产品推荐

