为何使用clean.text()函数处理语料后词频统计结果会发生变化

• 带标点关联的词汇形态发生变化
  原文本中附着标点的词汇（比如英文所有格Apple's、带连字符的mother-in-law、带撇号的don't）在标点被清理后，会变成新的字符串Apples、motherinlaw、dont。这类字符串要么和原文本中已有的其他词汇合并计数，要么作为新的独立词汇被统计，直接改变原有词频结果。
• 空白字符规范化修正了tm的识别误差
  原文本中存在的换行符、制表符、多个连续空格、特殊非标准空白符，会导致tm原本将同一个词拆分为两个独立term，或是将两个相邻的词识别为同一个term。clean.text()会把所有类型的空白统一替换为单个标准空格，修正这类识别误差后词频就会发生变化。
• 不可见字符被清理消除了重复term
  很多原始语料会附带零宽空格、软换行、非打印控制字符这类不可见符号，这类符号如果附着在词汇前后，会导致term_stats()将字面完全相同的词汇判定为不同的独立term。clean.text()默认会移除所有不可见字符，清理后原本被拆分计数的相同词汇会被合并，改变词频结果。
• 字符编码/全角半角统一消除了同形不同码的差异
  clean.text()执行时会默认将所有文本转换为标准UTF-8编码，如果你导入的原始语料存在编码混乱、全角半角字符混存的情况（比如全角的ａ和半角的a、全角标点和半角标点附着在词汇旁），原本会被判定为不同的term，编码统一后会被合并统计，带来词频差异。
• 默认开启的大小写转换未被手动关闭
  注意TextReg包的clean.text()函数默认会将所有文本转换为小写，如果你调用函数时没有设置lower = FALSE参数，原文本中大小写不同的同一个词（比如Test和test）会被合并统计，这也是很多用户容易忽略的差异来源。

内容的提问来源于stack exchange，提问作者user6542495