编写R函数：基于匹配规则为DataFrame添加分组变量

核心需求 #

• 从CSV读取规则数据集，规则包含匹配列名、模糊匹配模式、分组名称
• 按规则顺序遍历目标数据框的每一行，依次在指定列上执行类似SQL %like% 的模糊匹配
• 匹配成功后立即将对应分组名称填入新列Function，后续规则不再匹配该行
• 替代手动匹配的繁琐操作，解决循环实现的性能瓶颈

解决方案实现 #

1. 规则数据结构说明 #

规则CSV需包含三列：

• match_col: 目标数据框中要匹配的列名
• pattern: 模糊匹配的正则表达式（对应%like%逻辑）
• function_group: 匹配成功后填入Function列的分组名称

2. 高效匹配函数实现 #

用向量式操作替代逐行循环，结合dplyr和stringr实现高性能匹配：

library(dplyr)
library(stringr)

match_rules <- function(target_df, rules_df) {
  # 初始化Function列为空值
  result_df <- target_df %>% mutate(Function = NA_character_)
  
  # 按规则顺序依次匹配，仅处理未匹配的行
  for (i in seq_len(nrow(rules_df))) {
    rule <- rules_df[i, ]
    match_mask <- is.na(result_df$Function) & 
      str_detect(result_df[[rule$match_col]], rule$pattern)
    
    result_df$Function[match_mask] <- rule$function_group
  }
  
  return(result_df)
}

# 从CSV读取规则的辅助函数
load_rules <- function(csv_path) {
  read.csv(csv_path, stringsAsFactors = FALSE) %>%
    mutate(match_col = as.character(match_col),
           pattern = as.character(pattern))
}

3. 示例演示（基于iris数据集） #

构造规则数据集testdf

# 模拟规则CSV内容，实际使用时替换为load_rules("your_rules.csv")
testdf <- data.frame(
  match_col = c("Species", "Petal.Length", "Sepal.Width"),
  pattern = c("setosa", "^5\\.", "^3\\."),
  function_group = c("Setosa Group", "Long Petal", "Wide Sepal"),
  stringsAsFactors = FALSE
)

运行匹配函数

# 对iris应用规则匹配
iris_matched <- match_rules(iris, testdf)

# 查看匹配结果
head(iris_matched %>% select(Species, Petal.Length, Sepal.Width, Function))

预期输出

Species Petal.Length Sepal.Width    Function
1  setosa          1.4         3.5 Setosa Group
2  setosa          1.4         3.0 Setosa Group
3  setosa          1.3         3.2 Setosa Group
4  setosa          1.5         3.1 Setosa Group
5  setosa          1.4         3.6 Setosa Group
6  setosa          1.7         3.4 Setosa Group

非setosa的行会依次匹配Petal.Length是否以5.开头、Sepal.Width是否以3.开头，匹配成功后标记对应分组。

超大数据量优化方案 #

若处理百万级以上行的数据集，改用data.table进一步提升性能：

library(data.table)
library(stringr)

match_rules_dt <- function(target_dt, rules_df) {
  target_dt[, Function := NA_character_]
  for (i in seq_len(nrow(rules_df))) {
    rule <- rules_df[i, ]
    target_dt[is.na(Function) & str_detect(get(rule$match_col), rule$pattern), 
              Function := rule$function_group]
  }
  return(target_dt)
}

# 使用示例
iris_dt <- as.data.table(iris)
iris_matched_dt <- match_rules_dt(iris_dt, testdf)

内容的提问来源于stack exchange，提问作者Elizabeth Wallace