R语言高效筛选匹配事件码与对应原因码的数据集方法求助

问题背景 #

现有1500万条记录的数据集，结构包含ID、25组事件码列（如Col_1/Col_2…Col_25）和对应原因码列（如Col_R_1/Col_R_2…Col_R_25），部分列存在空值。需筛选**任意一组事件码为U78且对应原因码为3或Y**的记录，替代原25个case_when的低效实现。

示例数据集 #

df <- structure(list(ID = c(5, 6, 7, 8, 22, 343, 656, 595), Col_1 = c("U78", "D38", "T90", "T8", "U78", "G90", "G90", "Y88"), Col_2 = c("T90", "U78", NA, NA, NA, "T90", "B12", "T90"), Col_3 = c(NA, NA, NA, NA, NA, "U78", NA, NA), Col_R_1 = c("3", "M", "R", "M", "M", "3", "3", "Y"), Col_R_2 = c("M", "Y", NA, NA, NA, "M", "M", "M"), Col_R_3 = c(NA, NA, NA, NA, NA, "Y", NA, NA)), row.names = c(NA, -8L), class = c("tbl_df", "tbl", "data.frame"))

高效实现方案 #

利用向量化操作替代逐行判断或重复case_when，大幅提升处理速度，适合千万级数据集：

方法1：基础R实现（无额外依赖）

# 匹配事件码和原因码列（确保顺序严格对应）
event_cols <- grep("^Col_\\d+$", names(df), value = TRUE)
reason_cols <- grep("^Col_R_\\d+$", names(df), value = TRUE)

# 生成逻辑矩阵：每个元素对应一组列的匹配结果
match_flags <- mapply(
  function(e_col, r_col) {
    (df[[e_col]] == "U78") & (df[[r_col]] %in% c("3", "Y"))
  },
  event_cols, reason_cols
)

# 筛选存在至少一组匹配的行
filtered_df <- df[rowSums(match_flags, na.rm = TRUE) > 0, ]

方法2：dplyr简洁实现

library(dplyr)

filtered_df <- df %>%
  filter(
    rowSums(
      # 对事件码列判断是否为U78，对原因码列判断是否为3/Y
      across(starts_with("Col_"), ~ .x == "U78") & 
      across(starts_with("Col_R_"), ~ .x %in% c("3", "Y")),
      na.rm = TRUE
    ) > 0
  )

方案优势 #

• 无需手写25个重复的case_when条件，代码简洁易维护；
• 向量化操作基于底层优化函数（mapply/rowSums/across），处理千万级数据的效率远高于逐行判断；
• na.rm = TRUE自动忽略空值，无需额外处理NA场景。

验证结果 #

运行上述代码后，筛选结果包含ID为5、6、343的记录，符合预期：

• ID=5：Col_1=U78且Col_R_1=3
• ID=6：Col_2=U78且Col_R_2=Y
• ID=343：Col_3=U78且Col_R_3=Y

内容的提问来源于stack exchange，提问作者Bob Vila