R语言tm包如何使用自定义词典对VCorpus进行词形还原

你的代码没生效是三个细节没做对：

• textstem::lemmatize_strings 要求传入的自定义词典是命名向量结构：向量的名称是待替换的屈折变形词，向量的值是对应的还原词根，直接传读入的原始data.frame函数根本识别不了
• 读入词典后没做格式转换，也没统一文本大小写，大部分匹配会因为大小写不一致直接失效
• 你考虑的逐词调用gsub替换的方案效率差是必然的，R层面逐词遍历的性能开销极高，语料稍微大一点就会跑不动

如果还没装依赖包，先运行install.packages(c("tm", "textstem"))完成安装，之后按如下步骤处理：

• 加载依赖

library(tm)
library(textstem)

• 预处理自定义词典，转成函数支持的格式

# 读入本地词典文件，指定UTF-8编码适配意大利语重音字符，记得替换成你实际的文件存储路径
lemma_df <- read.csv(
  "~/lemmatization_ita.csv",
  header = FALSE,
  stringsAsFactors = FALSE,
  encoding = "UTF-8"
)
# 构造符合要求的命名词典：名称为变形词，值为对应的还原词根
ita_lemma_dict <- lemma_df$V1
names(ita_lemma_dict) <- lemma_df$V2

• 按正确流程处理VCorpus对象

# 先统一把文本转成小写，避免大小写差异导致匹配失败
corpus <- tm_map(corpus, content_transformer(tolower))
# 传入处理好的词典完成词形还原
corpus <- tm_map(corpus, lemmatize_strings, dictionary = ita_lemma_dict)

• 词形还原步骤建议放在去除标点、特殊字符之后，停用词过滤之前，避免带标点的词汇和词典条目匹配失败
• 如果语料存在较多拼写错误，先做拼写校正再跑词形还原，不然匹配准确率会明显下降
• 上述方案里lemmatize_strings底层是C级别的哈希匹配，十万级文本的处理速度比逐词循环gsub快几十到上百倍，完全不需要担心性能问题

内容的提问来源于stack exchange，提问作者aooo