R语言：如何在数据框文本中保留指定词汇并移除其余词汇？

你遇到的问题是因为gsub的用法逻辑不对——你的代码错误地尝试用整个指定词汇向量去替换匹配到的内容，这自然会导致文本重复。正确的思路应该是提取文本中属于指定词汇向量的词，而非替换操作。

下面是两种可行的解决方案：

方法1：Tidyverse风格（推荐，更简洁） #

如果习惯用tidyverse工具链，stringr包的str_extract_all可以轻松提取所有匹配的目标词汇：

library(tidyverse)

# 初始化数据与指定词汇
stopwords <- c("the","weather","looks","rainy","sunny")
df <- data.frame(a = c("a1", "a2", "a3"), text = c("today the weather looks hot", "its so rainy outside", "today its sunny"))

# 生成新列：提取匹配词汇并拼接
df <- df %>%
  mutate(new_text = map_chr(text, function(x) {
    # 提取所有属于指定词汇的单词
    matched_words <- str_extract_all(x, paste0("\\b", stopwords, "\\b", collapse = "|"))[[1]]
    # 将匹配到的单词拼接成字符串（无匹配则为空）
    paste(matched_words, collapse = " ")
  }))

# 查看结果
print(df)

运行后会得到你期望的输出：

a                     text           new_text
1 a1 today the weather looks hot the weather looks
2 a2      its so rainy outside              rainy
3 a3           today its sunny               sunny

方法2：基础R实现（无需额外包） #

如果不想加载外部工具包，可以用基础R的字符串拆分与交集筛选来实现：

stopwords <- c("the","weather","looks","rainy","sunny")
df <- data.frame(a = c("a1", "a2", "a3"), text = c("today the weather looks hot", "its so rainy outside", "today its sunny"))

# 生成新列
df$new_text <- sapply(df$text, function(x) {
  # 将文本拆分为单个单词
  word_list <- strsplit(x, "\\s+")[[1]]
  # 筛选出在指定词汇向量中的单词
  matched_words <- intersect(word_list, stopwords)
  # 拼接成最终字符串
  paste(matched_words, collapse = " ")
})

print(df)

这个方法的逻辑更直观：先把文本拆成单个词，再筛选出符合要求的词，最后拼接回去，结果和方法1完全一致。

原代码出错原因分析 #

你的原代码：

df$new_text <- trimws(gsub(paste0("\\b", stopwords, "\\b", collapse = "|"), stopwords, df$text))

问题出在gsub的第二个参数——你传入了向量stopwords，而gsub会循环使用向量元素去替换匹配到的内容。更关键的是，gsub不会移除未匹配的词汇（比如"today""hot"这类不在指定向量里的词），只是替换匹配到的词，最终导致原文本里的非目标词保留，同时目标词被重复写入，自然出现内容重复的问题。

把思路从"替换"改成"提取/筛选"，就能完美解决你的需求啦。

内容的提问来源于stack exchange，提问作者prog