R文本挖掘高频词统计时单词被截断的原因咨询

问题原因 #

你观察到的单词截断现象，是预处理阶段调用了词干提取函数导致的：

• 你的代码里有一行tm_map(stemDocument)，这个函数会基于波特词干提取算法，把所有同根的不同形态单词统一缩减为词根形式，目的是合并统计同根词的总出现频次（比如vaccine/vaccines/vaccination会被统一提取为vaccin，educate/education/educational会被统一提取为educ），这是文本挖掘里合并同义不同形词汇的常规操作，不是代码错误。

解决方法 #

如果不需要合并同根词，想要保留原始完整单词做词频统计，直接删除tm_map(stemDocument)这行代码重新运行即可。
如果希望保留同根词合并的统计逻辑，同时最终输出完整词汇，可以在词频统计完成后调用stemCompletion()函数，将词根映射回语料中出现过的完整原词，示例代码如下：

# 把词干补全为原始语料中的完整词
tableNR$complete_word <- stemCompletion(tableNR$word, corpusNR)

运行后complete_word列就会显示对应词根的完整原词。

内容的提问来源于stack exchange，提问作者Mark Locklear