如何在R的tm包中使用stemDocument排除或修改词干结果？

针对你遇到的词干提取偏差问题，有两种核心思路：排除指定词汇不参与词干提取，或者手动修正提取结果。

一、排除指定词汇，跳过词干提取 #

• 定义需要保留的词汇列表

keep_words <- c("inflation", "united states", "many", "anniversary")

注意：如果是多词短语（比如"united states"），需要确保你的文本已经做好短语识别或分词时保留短语，否则会被拆成单个词处理。

• 自定义词干提取函数

custom_stem <- function(x) {
  # 将文本转为字符向量
  words <- strsplit(x, " ")[[1]]
  # 对不在保留列表中的词进行词干提取，保留列表中的词原样返回
  stemmed_words <- sapply(words, function(word) {
    if (word %in% keep_words) {
      word
    } else {
      tm::stemDocument(word)
    }
  })
  # 重新拼接成文本
  paste(stemmed_words, collapse = " ")
}

• 在tm的预处理流程中调用自定义函数

# 假设你的语料库是corpus
corpus <- tm_map(corpus, content_transformer(custom_stem))

二、手动修正词干提取结果 #

如果已经完成了词干提取，想要修正错误的结果，可以通过替换操作实现：

• 定义替换规则列表

correction_map <- c(
  "infl" = "inflate",
  "unit" = "united",
  "mani" = "many",
  "anniversari" = "anniversary"
)

• 自定义替换函数

correct_stem <- function(x) {
  # 拆分词汇
  words <- strsplit(x, " ")[[1]]
  # 替换匹配的词干结果
  corrected_words <- ifelse(words %in% names(correction_map), correction_map[words], words)
  paste(corrected_words, collapse = " ")
}

• 应用到语料库

corpus <- tm_map(corpus, content_transformer(correct_stem))

额外说明 #

• 对于"united states"这类短语，建议在分词阶段就通过tm::NGramTokenizer或其他工具将其识别为单个单元，避免被拆分为"united"和"states"分别处理，这样后续的词干提取或保留操作会更准确。
• 可以结合两种方法：先跳过指定词汇的词干提取，再对其他可能的错误结果进行修正。

内容的提问来源于stack exchange，提问作者App Work