基于正则匹配从另一数据框填充R数据框vote_int列

问题场景 #

我不是R专业用户，手里有个716K行的大型数据框df1，包含author_id、text、vote_int三列（初始vote_int全为NA）；还有个数据框df2，包含tag（话题标签）和对应的vote_int数值列。需要把df1$text里的话题标签和df2$tag做正则匹配，将匹配到的vote_int值填充到df1对应行中。之前用str_detect加循环实现，速度慢到无法接受，求快速解决方案。

预期输出示例 #

author_id           text                         vote_int
 1 2898475609          #please #voteyes             1
 2 2163623162          help and #voteno             0

快速解决方案 #

针对大数据量，向量化操作和高效数据处理工具是提速核心，以下两种方案都能大幅提升效率：

方案1：data.table + stringi（推荐，大数据下最快）

data.table专为大数据优化，stringi的正则匹配性能远超base R和stringr：

# 先安装依赖包（如果没装过）
# install.packages(c("data.table", "stringi"))

library(data.table)
library(stringi)

# 示例数据（替换成你的真实数据）
df1 <- data.frame(
  author_id = c(2898475609, 2163623162),
  text = c("#please #voteyes", "help and #voteno"),
  vote_int = NA_integer_
)

df2 <- data.frame(
  tag = c("#voteyes", "#voteno"),
  vote_int = c(1, 0)
)

# 转换为data.table格式
setDT(df1)
setDT(df2)

# 生成匹配所有tag的正则模式
tag_pattern <- paste(df2$tag, collapse = "|")

# 从text中提取第一个匹配的话题标签
df1[, matched_tag := stri_extract_first_regex(text, tag_pattern)]

# 通过匹配标签，将df2的vote_int填充到df1中
df1[df2, vote_int := i.vote_int, on = .(matched_tag = tag)]

# 清理临时列（可选）
df1[, matched_tag := NULL]

# 查看结果
df1

方案2：dplyr + stringr（适合习惯tidyverse的用户）

如果平时用tidyverse生态，可以用向量化的字符串提取+左连接实现：

# 先安装依赖包（如果没装过）
# install.packages(c("dplyr", "stringr"))

library(dplyr)
library(stringr)

# 提取匹配标签，左连接填充数值，最后整理列
df1 <- df1 %>%
  mutate(matched_tag = str_extract(text, str_c(df2$tag, collapse = "|"))) %>%
  left_join(df2, by = c("matched_tag" = "tag")) %>%
  mutate(vote_int = coalesce(vote_int.y, vote_int.x)) %>%
  select(author_id, text, vote_int)

为什么循环慢？ #

R的循环是逐行处理，每一行都要单独调用函数，对于716K行的数据，这种方式会产生大量的重复计算和内存开销。而上面的方案都是批量向量化操作，一次性处理所有行，效率能提升几十甚至上百倍。

内容的提问来源于stack exchange，提问作者Giovanni Palermo