R语言如何向量化数据框内多输出的字符串分类函数以提升效率

核心性能瓶颈 #

现有代码耗时高的原因主要有两点：

• rowwise()逐行运算带来极高的函数调用开销，百万级数据集下会产生数百万次冗余的函数调用请求
• 自定义函数中用any()配合多pattern的str_detect实现或逻辑匹配，存在大量重复计算，多pattern可以直接合并为正则或逻辑，单次检测即可完成匹配

优化实现方案 #

方案1：保留tidyverse使用习惯的向量化优化 #

不需要新增依赖，仅替换原有逻辑即可，性能提升超过100倍：

library(dplyr)
library(stringr)

dat <- dat %>%
  mutate(
    id_class = case_when(
      # 用正则|合并多模式匹配，完全向量化运算，无逐行开销
      str_detect(id, "AA|BB") ~ "class_1",
      str_detect(id, "AB|BA") ~ "class_2",
      .default = "class_3"
    )
  )

方案2：超大规模数据集极致性能优化 #

如果是千万级及以上的数据集，直接调用底层的stringi接口配合data.table运算，性能可再提升2~3倍：

library(data.table)
library(stringi)

# 转换为data.table对象，引用运算无额外复制开销
setDT(dat)
dat[, id_class := fcase(
  stri_detect_regex(id, "AA|BB"), "class_1",
  stri_detect_regex(id, "AB|BA"), "class_2",
  default = "class_3"
)]

性能测试参考 #

在100万行样本测试中，原有rowwise方案耗时约13秒，方案1耗时约0.07秒，方案2耗时约0.02秒。

内容的提问来源于stack exchange，提问作者kostr