如何高效实现大向量中字符串令牌的替换、去重与排序？

问题背景 #

有一个包含约20万个元素的大型向量x，每个元素是逗号分隔的字符串；同时有一个命名向量形式的小型查找表lkp，用于将旧字符串映射为新字符串。需要完成三步操作：

• 将x中的每个元素拆分为令牌
• 借助lkp替换令牌
• 对替换结果去重并排序

直观实现中str_split速度优异，但lapply处理大数据量时耗时过长，因此需要利用向量化特性或正则方案优化性能。

优化方案 #

方案1：基于split+data.table的向量化分组处理 #

既然split方法在无去重排序时已经有不错的性能，我们可以在此基础上结合data.table的高效分组操作，完成去重和排序，整体性能远优于lapply：

library(data.table)
library(stringr)
library(tictoc)

# 测试数据
x <- c("a,b,c", "c", "b,c", "a,b")
lkp <- c(a = "A", b = "A", c = "B")
xbig <- x[sample(length(x), 2e6, TRUE)]

# 步骤1：拆分令牌
tic("str_split")
tokens <- str_split(xbig, fixed(","))
toc()

# 步骤2：映射+分组去重排序
tic("split+data.table")
tokens_unlist <- unlist(tokens)
map_vals <- lkp[tokens_unlist]
group_ids <- rep(seq_along(tokens), lengths(tokens))

# 用data.table分组处理
dt <- data.table(group = group_ids, val = map_vals)
res <- dt[, .(sorted_unique = list(sort(unique(val)))), by = group]$sorted_unique
toc()

测试结果参考：

• str_split: 0.89 sec elapsed
• split+data.table: ~5 sec elapsed（远优于原lapply的60+秒）

方案2：基于正则替换的stringr方案 #

利用str_replace_all的向量化特性，先将查找表转换为正则匹配规则，直接对每个字符串进行批量替换，再处理去重排序：

library(stringr)
library(tictoc)

# 构建正则替换列表：匹配逗号分隔的完整令牌
lkp_regex <- setNames(lkp, paste0("(?<=^|,)", names(lkp), "(?=,|$)"))

tic("regex_replace + process")
# 第一步：批量替换所有令牌
replaced <- str_replace_all(xbig, lkp_regex)
# 第二步：拆分、去重、排序
res <- lapply(str_split(replaced, fixed(",")), \(t) sort(unique(t)))
toc()

注：正则中的(?<=^|,)和(?=,|$)用于精准匹配逗号分隔的独立令牌，避免误匹配字符串中的子串（比如不会把"ab"里的"a"当成单独令牌）。如果令牌仅由单词字符组成，也可以用\\b简化规则。

该方案的性能介于lapply和split+data.table之间，但优势是代码更简洁，且全程基于stringr的向量化操作。

方案对比总结 #

内容的提问来源于stack exchange，提问作者thothal