使用R语言tm包做NLP文本预处理出现utf8towcs编码错误如何解决

根因说明 #

报错本质是语料存在混合编码、非法乱码字符，你之前的操作直接作用于tm包的嵌套Corpus对象，没有触达实际存储文本的content层，因此无法生效。

分步解决方案 #

1. 读取数据后先清洗原始文本 #

读入阶段指定编码后，先对原始文本向量做编码清理，不要直接创建语料：

# 读取数据集（经典spam短信数据集默认编码为Latin-1，该读取配置正确）
sms_raw <- read.csv('spam.csv', 
                    encoding = 'Latin-1', 
                    stringsAsFactors = FALSE)
# 替换为你实际用于分析的文本列名，官方默认数据集的文本列名为v2
raw_text <- sms_raw$v2
# 编码统一转换为UTF-8，无法识别的字符直接删除
clean_text <- iconv(raw_text, from = "Latin-1", to = "UTF-8", sub = "")
# 替换所有非可打印的特殊字符、乱码为空格
clean_text <- gsub("[^[:alnum:][:blank:]!?.',]", " ", clean_text)
# 去除首尾空格与连续冗余空格
clean_text <- gsub("\\s+", " ", trimws(clean_text))

2. 基于清洗后文本创建语料，执行小写转换 #

library(tm)
# 用清理完成的文本向量创建语料
sms_corpus <- VCorpus(VectorSource(clean_text))
# 执行小写转换，无编码报错
sms_clean <- tm_map(sms_corpus, content_transformer(tolower))

3. 验证转换结果 #

# 查看第一条语料的转换结果
content(sms_clean[[1]])

内容的提问来源于stack exchange，提问作者Sophia Hart